• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Research-status Report

Involvement-in-conversation-game型CALLの研究

Research Project

Project/Area Number 15K02738
Research InstitutionDoshisha University

Principal Investigator

山本 誠一  同志社大学, 理工学部, 教授 (20374100)

Co-Investigator(Kenkyū-buntansha) 馬田 一郎  国立研究開発法人情報通信研究機構, ユニバーサルコミュニケーション研究所多感覚・評価研究室, 研究員 (40374110) [Withdrawn]
Project Period (FY) 2015-04-01 – 2020-03-31
KeywordsCALL / 音声認識 / 第二言語
Outline of Annual Research Achievements

本研究では、複数人の会話では言語運用能力の低い参加者は言語運用能力の高い参加者の表現を借用する傾向があるというInteractive alignment現象を利用することにより、複数人での会話に学習者の参加を促して第二言語学習を促進するシステムであるJoining-in-type音声対話型CALLシステムの実現方法の研究開発を目的としている。
本年度は昨年度に続いて教師役のロボットと学習者より第二言語会話能力が高いという設定の生徒役ロボットの2台の人型ロボット間の会話シナリオを設定し、その会話の一部の質問を学習者にも行う実験環境を開発し、被験者の発話データの収集・分析を行った。
特にInteractive alignment現象を検証するため、日本人の英語学習者にとっては、比較的使用が困難と考えられている無生物主語と使役動詞による表現についての学習効果を、統制群と実験群による比較という枠組みで行った。その結果、生徒役ロボットに続いて学習者が発話を行う実験群での使用割合が大きく向上することが確認された。また、教師役ロボットからの質問の難易度により、質問中と質問後の学習者の教師役のロボットへの注視割合の差が異なることが確認された。これは、質問に対する理解度を計測する指標としての使用可能性を示唆する実験結果と考えられる。

以上のデータ分析に基づく研究結果を、CALLに関する国際学会であるSLate2017で発表した。現在、この研究結果をテキスト・音声コーパスに関する論文誌であるLREVに投稿中である。また、視線に関する実験結果をまとめ、電子情報通信学会総合全国大会で研究発表を行った。なお、CALLシステム開発に必要となる要素技術の研究成果が電子情報通信学会論文誌に掲載される等の研究成果も得られている。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

第一段階での主要項目は会話分析であり、160セットの会話データ収集を目標としている。現在までに、第二言語での会話を自由会話、課題会話各々について20セット(計40セッ)を収集し、更に、人型ロボットとの会話データを170セット収集した。

このデータの分析により、人型ロボットとの会話について、学習者の能力に応じた難易度の課題設定が重要となることが判明したので、異なる会話能力の学習者にも対応して会話を継続するための会話シナリオの見直しと再設計を進めた。なお、視線データの分析により、注視割合と学習者の理解度との間に一定の相関が見られることが推定される。更に詳しく検証するために、注視割合による会話の動的な修正について検討を進めることとする。

Strategy for Future Research Activity

学習者の会話能力に応じて設定する新たな会話シナリオに基づき、会話データの収集を進める。合わせて、従来収集した会話での視線データを用いて、質問中と質問後の学習者の注視割合の差に基づく指標が課題の難易度や学習者の理解度等の関連に関する分析を進め、その指標に基づく教師ロボットの発話速度の制御や繰り返し等に関する会話シナリオの制御方法についての検討を進める。

Causes of Carryover

(理由)主な理由は、博士後期課程の院生の学会での発表のための旅費と参加費等を、当人の出身国の大使館がその費用を負担することとなったので、その費用が支出されなかったことによる。

(使用計画)当該費用を新たなシナリオでの会話データの大規模収集を進めるために募集する被験者の謝礼の支払いとして使用する予定である。

  • Research Products

    (9 results)

All 2018 2017

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (7 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Classification of Utterances Based on Multiple BLEU Scores for Translation-game-type CALL Systems2018

    • Author(s)
      R. Kuwa, T. Kato, S. Yamamoto
    • Journal Title

      IEICE Trans. INF. & SYST

      Volume: E101-D Pages: 750-757

    • DOI

      DOI: 10.1587/transinf.2017.EDP7151

    • Peer Reviewed / Open Access
  • [Journal Article] Difference in Eye Gaze for Floor Apportionment in Native- and Second- language Conversations2017

    • Author(s)
      K. Ijuin, I. Umata, T. Kato, S. Yamamoto
    • Journal Title

      Journal of Nonverbal Behavior

      Volume: 42 Pages: 113-128

    • DOI

      DOI 10.1007/s10919-017-0262-3

    • Peer Reviewed / Open Access
  • [Presentation] 注視が次発話者の選択に及ぼす影響に関する母語と第二言語会話での比較分析2018

    • Author(s)
      山下昴人、伊集院幸輝、加藤恒夫、山本誠一
    • Organizer
      電子情報通信学会総合全国大会
  • [Presentation] 人型ロボットを用いた第二言語学習支援システムにおける繰り返し訓練における評価2018

    • Author(s)
      尾坂和哉、三田村悠作、AlBara Khalifa、加藤恒夫、山本誠一
    • Organizer
      電子情報通信学会総合全国大会
  • [Presentation] Joining-in-type RALLシステムにおける視線動作の計測と分析2018

    • Author(s)
      藤尾昇平、伊集院幸輝、加藤恒夫、山本誠一
    • Organizer
      電子情報通信学会総合全国大会
  • [Presentation] Measuring Effect of Repetitive Questioning and Implicit Learning with Joining-in Type Robot Assisted Language Learning System2017

    • Author(s)
      A. Khalifa, T. Kato, S. Yamamoto
    • Organizer
      7th ISCA Workshop on Speech and Language Technology in Education
    • Int'l Joint Research
  • [Presentation] Factor Analysis of Gazing Activities in Native and Second Language Conversations2017

    • Author(s)
      I. Umata, K. Ijuin, S. Yamamoto
    • Organizer
      21st Workshop on the Semantics and Pragmatics of Dialogue
    • Int'l Joint Research
  • [Presentation] Comparison of Effect of Speaker's Eye Gaze on Selection of Next Speaker between Native- and Second-language Conversations2017

    • Author(s)
      K. Ijuin, T. Yamashita, T. Kato, S. Yamamoto
    • Organizer
      Grounding Language Understanding GLU2017
    • Int'l Joint Research
  • [Presentation] 注視が次発話者の選択に及ぼす影響に関する母語と第二言語会話での比較分析2017

    • Author(s)
      山下昴人、伊集院幸輝、加藤恒夫、山本誠一
    • Organizer
      FIT2017

URL: 

Published: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi