• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2016 年度 実施状況報告書

Involvement-in-conversation-game型CALLの研究

研究課題

研究課題/領域番号 15K02738
研究機関同志社大学

研究代表者

山本 誠一  同志社大学, 理工学部, 教授 (20374100)

研究分担者 馬田 一郎  国立研究開発法人情報通信研究機構, ユニバーサルコミュニケーション研究所多感覚・評価研究室, 研究員 (40374110) [辞退]
研究期間 (年度) 2015-04-01 – 2020-03-31
キーワードCALL / 音声認識 / 第二言語
研究実績の概要

本研究では、複数人の会話で言語運用能力の低い参加者は言語運用能力の高い参加者の表現を借用する傾向があるというInteractive alignment現象を利用することにより、複数人での会話に学習者の参加を促して第二言語学習を促進するシステムであるJoinig-in typeの音声対話型CALLシステムの実現方法を目的としている。
本年度は、昨年度に続いて教師役のロボットと学習者より第二言語会話能力が高いという設定の生徒役ロボットの2台の人型ロボット間の会話シナリオを設定し、その会話の一部の質問を学習者にも行う実験環境を開発し、被験者の発話データの収集・分析を行った。特に、Interactive alignment現象の生起確率を検証するために、質問に対し人型ロボットが先に応答を行う実験群と学習者が先に応答を行う統制群とを設け、更に構文構造の類似する表現を何度か繰り返すことによる、implicitな表現学習の効果を中心に分析を進めた。この結果、部分文での表現の類似度を示すBLEU(bilingual evaluation understudy)での指標で、実験群では指標の大幅な向上が見られ、implicit learningによる学習効果が確認された。

以上のデータ分析に基づき、本研究対象のCALLシステムにより収集された音声データの分析結果を、テキスト・音声コーパスに関する国際学会Oriental COCOSDAで発表した。更に、CALLシステム開発に必要となる要素技術に関する研究結果等をInterspeech等の学会での発表、電子情報通信学会の論文誌への掲載などの成果が得られた。
現在、このJoining-in typeのCALLシステムで収集された発話結果をまとめ、テキスト・音声コーパスに関する論文誌であるLREVに投稿準備を進めている。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

第1段階での主要項目は複数人での会話分析であり、160セットの会話データの収集を目標としている。現在までに、第二言語での会話を自由会話、課題会話各々について20セット(計40セット)を収集し、更に、人型ロボットとの会話データを120セット収集した。
このデータの分析により、人型ロボットとの会話においては、2台の人型ロボット間の会話シナリオの設計が学習者の発話の予測性能に大きな影響を与えることが判明したので、より効果的に会話が継続できるための会話シナリオの見直しと再設計を進めた。

今後の研究の推進方策

新たな会話シナリオに基づき会話データの収集を進めると共に、そのデータに基づく言語モデル開発を進める。また、視線データの分析結果に基づく発話の予測性能向上について検討を進める。

次年度使用額が生じた理由

人型ロボットとの会話においては、2台の人型ロボット間の会話シナリオの設計が学習者の発話の予測性能に大きな影響を与えることが分析により判明した。このため、発話シナリオの見直しと再設計を進めた。この再設計を進めるために、いくつかのケースについて予備実験を進めたため、当初予定した大規模な会話データ収集計画に遅延が生じ、そのデータ収集のための被験者への謝礼の支払い額が減少した。

次年度使用額の使用計画

シナリオの再設計により提案手法の効果が明らかとなっため、新たなシナリオで会話データの大規模収集を進めるために募集する被験者の謝礼の支払いとして使用する計画である。

  • 研究成果

    (10件)

すべて 2017 2016

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件、 謝辞記載あり 1件) 学会発表 (9件) (うち国際学会 6件)

  • [雑誌論文] Phoneme Set Design Considering Integrated Acoustic and Linguistic Features of Second Language Speech2017

    • 著者名/発表者名
      X. Wang, T. Kato, S. Yamamoto
    • 雑誌名

      IEICE Trans.

      巻: E-100D ページ: 857-864

    • DOI

      10.1587/transinf.2016EDP7395

    • 査読あり / オープンアクセス / 謝辞記載あり
  • [学会発表] 人型ロボットを用いたダニ言語学習支援システムにおける質問の繰り返しによる表現学習の分析2017

    • 著者名/発表者名
      石田充、AlBara Khalifa、加藤恒夫、山本誠一
    • 学会等名
      電子情報通信学会総合大会
    • 発表場所
      名城大学、愛知県名古屋市
    • 年月日
      2017-03-22 – 2017-03-25
  • [学会発表] 母語と第二言語会話の会話構造の差異における視線動作の相違分析2017

    • 著者名/発表者名
      堀内保大、伊集院幸輝、加藤恒夫、山本誠一
    • 学会等名
      電子情報通信学会総合大会
    • 発表場所
      名城大学、愛知県名古屋市
    • 年月日
      2017-03-22 – 2017-03-25
  • [学会発表] 音声対話型CALLシステムのためのBLEUスコアに基づく学習者発話の分類2017

    • 著者名/発表者名
      桑怜子、加藤恒夫、山本誠一
    • 学会等名
      日本音響学会春季研究発表会
    • 発表場所
      明治大学、神奈川県川崎市
    • 年月日
      2017-03-15 – 2017-03-17
  • [学会発表] Effect of Music Experience on Perception of Temo Change2016

    • 著者名/発表者名
      M. Yamashita, M. Yanagida, I. Umata, T. Kato, S. Yamamoto
    • 学会等名
      Joint Meeting of ASA and ASJ
    • 発表場所
      Honolulu, USA
    • 年月日
      2016-11-28 – 2016-12-02
    • 国際学会
  • [学会発表] Features of Learner Corpsu Collected with Joining-in Type Robot Assisted Language Learning System2016

    • 著者名/発表者名
      M. Ishida, A. Khalifa, T. Kato, S. Yamamoto
    • 学会等名
      Oriental COCOSDA
    • 発表場所
      Bali, Indonesia
    • 年月日
      2016-10-26 – 2016-10-28
    • 国際学会
  • [学会発表] Classification of Utterance Acceptability Based on BLEU scores for Dialogue-based CALL Systems2016

    • 著者名/発表者名
      R. Kuwa, X. Wang, T. Kato, S. Yamamoto
    • 学会等名
      TSD2016
    • 発表場所
      Burno, Czech
    • 年月日
      2016-09-12 – 2016-09-16
    • 国際学会
  • [学会発表] F0 Countour Analysis Based on Empirical Mode Decomposition for DNN acoustic modeling in Mandarin Speech Recognition2016

    • 著者名/発表者名
      X. Wang, X. Li, H. Kawai, S. Yamamoto
    • 学会等名
      Interspeech2016
    • 発表場所
      San Francisco, USA
    • 年月日
      2016-09-08 – 2016-09-12
    • 国際学会
  • [学会発表] Phoneme Set Design Considering Integrated Acoustic and Linguistic Features of Second Language Speech2016

    • 著者名/発表者名
      X. Wang, T. Kato, S. Yamamoto
    • 学会等名
      Interspeech2016
    • 発表場所
      San Francisco, USA
    • 年月日
      2016-09-08 – 2016-09-12
    • 国際学会
  • [学会発表] Effects of the mode of tempo change on perception of tempo change2016

    • 著者名/発表者名
      M. Yanagida, I. Umata, S. Yamamoto
    • 学会等名
      ICA2016
    • 発表場所
      Buenos Aires, Argentina
    • 年月日
      2016-09-05 – 2016-09-09
    • 国際学会

URL: 

公開日: 2018-01-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi