• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Research-status Report

Involvement-in-conversation-game型CALLの研究

Research Project

Project/Area Number 15K02738
Research InstitutionDoshisha University

Principal Investigator

山本 誠一  同志社大学, 理工学部, 教授 (20374100)

Co-Investigator(Kenkyū-buntansha) 馬田 一郎  国立研究開発法人情報通信研究機構, ユニバーサルコミュニケーション研究所多感覚・評価研究室, 研究員 (40374110)
Project Period (FY) 2015-04-01 – 2020-03-31
KeywordsCALL / 音声認識 / 第二言語
Outline of Annual Research Achievements

本研究では、複数人での会話に学習者の参加を促す第二言語学習の環境であるJoining-in-conversationsの環境を設定し、複数人の会話で言語運用能力の低い参加者は運用能力の高い参加者の表現を借用する傾向があるという現象Interactive alignment現象を利用することにより、言語運用能力を向上させる音声対話型のCALLシステムの実現方法を研究することを目的としている。
本年度は、2台のHumanoidタイプの会話エージェント間の会話シナリオを設定し、その会話の一部の質問を学習者にも行う実験環境を開発し、この実験環境で50名の被験者の発話データを収集、分析を行った。学習者がHumanoidタイプの会話エージェントの発話の表現をどの程度借用するかの指標として、単語単位での編集距離を測定した結果、約60%の値を示し、学習者がHumanoidタイプの会話エージェントの発話の表現をかなりの頻度で借用することが示された。

以上の発話データの収集結果の分析に基づき、本研究対象のCALLシステムの提案と本システムで収集された音声データの分析結果を電子情報通信学会で発表するとともに、テキスト・音声のコーパスに関する2016年5月に開催される国際学会Language Resources and Evaluationに投稿・採択された。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

第1段階の主要項目は複数人での会話分析であり、160セットの会話データの収集を目標としている。現在までに、第二言語での会話を自由会話、課題会話各々について20セット(計40セット)収集し、英語母語話者と言語運用能力の高い第二言語話者との会話に続いて、言語運用能力の低い第二言語話者が会話を行うという形式で更に質問形式を指定した会話20セットを収集した。また、第2段階での会話データの収集の予備収集として、エージェントとの会話データを20セット収集した。今後、目標数の達成に向けて収集を進める予定である。

言語モデル開発の前段として、学習者が会話エージェントの発話の表現をどの程度借用するかの指標として、単語単位での編集距離を測定した結果、約60%の値が得られた。また、どのような表現に対してインタラクティブ・アライメント現象、すなわち、表現の借用が生じやすいかについて予備検討を進めた結果、一部の表現は他の表現に変換される現象を見出した。この現象を考慮して、二重目的語を取る構文は単一目的語を取る構文で表現されやすいなどの結果に基づき、一部の表現については類似表現を考慮した言語モデルの開発を行う必要があるなどが判明した。言語モデルの開発に際してはこれらの知見を取り入れることを目指すこととした。

Strategy for Future Research Activity

現状、コミュニケーションモデルの検討やコーパス収集などの一部の計画に遅れは見られるものの、全体としては当初計画にほぼ沿って進捗していると考えられるため、当初計画によって研究を進めることとする。

なお、研究分担者の馬田一郎氏が2016年4月1日付けで民間企業の研究所に異動となったため、4月1日から連携研究者となり、研究推進力の若干の低下は免れないため、研究課題のプライオリティの変更を検討中である。

  • Research Products

    (11 results)

All 2016 2015

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (9 results) (of which Int'l Joint Research: 6 results)

  • [Journal Article] Multimodal Corpus of Multiparty Conversations in L1 and L2 Languages and Findings Obtained from It2015

    • Author(s)
      S. Yamamoto, K. Taguchi, K. Ijuin, I. Umata, M. Nishida
    • Journal Title

      Language Resource and Evaluation

      Volume: 49 Pages: 857-882

    • DOI

      10.1007/s10579-015-9299-2

    • Peer Reviewed / Open Access
  • [Journal Article] Speech Recognition of English by Japanese using Lexicon Represented by Multiple Reduced Phoneme Sets2015

    • Author(s)
      X. Wang, S. Yamamoto
    • Journal Title

      Trans. IEICE

      Volume: E98-D Pages: 2271-2279

    • Peer Reviewed
  • [Presentation] Joining-in-type Humanoid Robot Assited Language Learning Systems"2016

    • Author(s)
      A. Khalifa, T. Kato, S. Yamamoto
    • Organizer
      LREC
    • Place of Presentation
      Portoroz, Slovenia
    • Year and Date
      2016-05-23 – 2016-05-28
    • Int'l Joint Research
  • [Presentation] Quantitative Analysis of Gazes and Grounding Acts in L1 and L2 Conversations2016

    • Author(s)
      I. Umata, K. Ijuin, M. Ishida, M. Takeuchi, S. Yamamoto
    • Organizer
      LREC
    • Place of Presentation
      Portoroz, Slovenia
    • Year and Date
      2016-05-23 – 2016-05-28
    • Int'l Joint Research
  • [Presentation] 人型ロボットを用いた言語学習支援システムにおけるユーザ発話の音声特徴の分析2016

    • Author(s)
      小此木謙一、石田充、谷添友哉、AlBara Khalifa、 馬田一郎、加藤恒夫、山本誠一
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      九州大学
    • Year and Date
      2016-03-15 – 2016-03-18
  • [Presentation] 3 人会話におけるInteractive Alignment の特徴分析2016

    • Author(s)
      谷添友哉,石田充、小此木謙一、AlBara Khalifa,馬田一郎、加藤恒夫、山本誠一
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      九州大学
    • Year and Date
      2016-03-15 – 2016-03-18
  • [Presentation] Towards Computer-Assisted Language Learning with Robots, Wikipedia and CogInfoCom2015

    • Author(s)
      G. Wilcock, S. Yamamoto
    • Organizer
      IEEE Conf. on Cognitive Infocommunications
    • Place of Presentation
      Gyor, Hungary
    • Year and Date
      2015-10-19 – 2015-10-21
    • Int'l Joint Research
  • [Presentation] Quantitative analyses of Gaze Activity during Silence: Comaprison between Native-language and Second-language Conversations2015

    • Author(s)
      I. Umata, T. Tanizoe, K. Ijuin, S. Yamamoto
    • Organizer
      EPACogsci
    • Place of Presentation
      Turin, Italy
    • Year and Date
      2015-09-25 – 2015-09-27
    • Int'l Joint Research
  • [Presentation] 第二言語での会話構造が視線動作に及ぼす影響についての分析2015

    • Author(s)
      伊集院幸輝,石田充,堀内保大,馬田一郎,山本誠一
    • Organizer
      FIT
    • Place of Presentation
      愛媛大学
    • Year and Date
      2015-09-15 – 2015-09-17
  • [Presentation] Eye Gaze Analyses in L1 and L2 Conversations: Difference in Interaction Structure2015

    • Author(s)
      K. Ijuin, Y. Horiuchi, I. Umata, S. Yamamoto
    • Organizer
      Text Speech and Dialogue
    • Place of Presentation
      Plzen, Czech
    • Year and Date
      2015-09-14 – 2015-09-17
    • Int'l Joint Research
  • [Presentation] Second Language Speech Recognition using Multiple-Pass Decoding with Lexicon Represented by Multiple Reduced Phoneme Sets2015

    • Author(s)
      Second Language Speech Recognition using Multiple-Pass Decoding with
    • Organizer
      Interspeech
    • Place of Presentation
      Dresden, Germany
    • Year and Date
      2015-09-06 – 2015-09-10
    • Int'l Joint Research

URL: 

Published: 2017-01-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi