• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

Joining-in-type CALL system using dialogue agent

Research Project

Project/Area Number 19K00927
Research InstitutionDoshisha University

Principal Investigator

山本 誠一  同志社大学, 研究開発推進機構, 嘱託研究員 (20374100)

Co-Investigator(Kenkyū-buntansha) 加藤 恒夫  同志社大学, 理工学部, 准教授 (60607258)
Project Period (FY) 2019-04-01 – 2022-03-31
KeywordsCALL / 遠隔教育 / implicit learning / tutoring
Outline of Annual Research Achievements

第二言語学習者の文法や語彙の誤りを指摘して言語運用能力向上を図る音声対話型CALLシステムは、高精度の音声認識を実現するため、学習者の発話を厳しく制限している。本研究は自然な形での発話制限を実現するため、言語運用能力の低い参加者は運用能力の高い参加者の表現を借用する傾向があるという現象を利用し自然な形で発話制限を行う手法として、複数の会話エージェントと学習者とのストーリー性のある会話で 、学習者が会話エージェント間の会話の発話表現を学び、その表現を借用するように誘導して、自然と制限された学習者の表現の的確な認識を実現し、発話表現の誤りの指摘を行う音声対話型CALLシステムであ
るJoining-in-typeのCALLの実現を目標とする。
この目標実現のために、Joining-in-typeのCALLシステムを模擬したシステムとして、教師を模したロボットR1と生徒を模したロボットR2から構成されるシステムを開発し、25名の被験者に対して6日間の学習期間でどの程度の学習効果が見込めるかを推定する実験を実施した結果、ロボットR1とR2との会話に続いて、学習者にR2への質問に類似した質問を2度行うことにより、学習者がR2の表現形式に類似した適切な表現で応答する割合が大きく向上する 等、その効果と問題点が確認された。
その改良を目的としてシステムについて大規模な実験を計画していたが、コロナ禍の蔓延により、対面での実験が困難になったことと、遠隔教育の有用性が認識されるのに伴い、2台のロボットアバターを用いて遠隔教育を行うシステムの開発を行った。
このシステムによる学習効果も検証されたと考えられるため、本システムに音声認識システムを組み込み、学習者の応答が適切な表現でなされているかを識別する識別器の検討を進める。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の目標実現のために、Joining-in-typeのCALLシステムを模擬したシステムとして、教師を模したロボットR1と生徒を模したロボットR2から構成されるシステムを開発し、本システムを使用して25名の被験者に対して6日間の学習期間でどの程度の学習効果が見込めるかを推定する実験を実施した。この結果、ロボットR1とR2との会話に続いて、学習者にR2への質問に類似した質問を2度行うことにより、学習者がR2の表現形式に類似した適切な表現で応答する割合が大きく向上することが確認された。これを受け、大規模なデータ収集を予定していたが、コロナ禍で対面でのデータ収集が困難となったため、2台のロボットアバターを用いるシステムを開発し、評価実験を進めた。これにより遠隔教育でも同等の効果が得られることを確認した。
このようにコロナ禍によりロボットアバターの開発とそれによる効果の検証という当初の計画にない作業が生じたが、ほぼ同等の効果が得られることが検証され、本研究はおおむね順調に進展していると考えられる。
今後の研究としては、提案しているJoining-in-typeのCALLシステムによる学習効果は検証されたと考えられるため、本システムに音声認識システムを組み込み、学習者の応答が適切な表現でなされているかを識別する識別器の検討を進める。

Strategy for Future Research Activity

提案しているJoining-in-typeのCALLシステムによる学習効果は検証されたと考えられるため、本システムに音声認識システムを組み込み、学習者の応答が適切な表現でなされているかを識別する識別器の検討を進める。これにより、教師を模したロボットR1と生徒を模したロボットR2の会話によるimplicit learning効果に加えて、学習者の教師を模したロボットR1からの質問に対する応答が不適切な場合それに対して適切な応答を示すtutoringの適切な手法とその効果に関する実験的な検証を進める。

Causes of Carryover

コロナ禍で対面でのデータ収集から遠隔でのデータ収集となったて、評価実験参加者の旅費等のアルバイト代が減少した。
本年度もコロナ禍で対面でのデータ収集が引き続き困難となることが予想されるため、遠隔でのデータ収集を大規模に進めるための評価実験参加者への謝礼と遠隔での大規模なデータ収集に必要とされる機材の追加購入に充てる。

  • Research Products

    (9 results)

All 2021 2020

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (8 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] 音声認識エンジンに独立な特定ドメイン向け音声認識誤り識別器2020

    • Author(s)
      田中拓, 野田直希, 加藤恒夫, 山本誠一
    • Journal Title

      情報処理学会論文誌

      Volume: 61-3 Pages: 618-627

    • Peer Reviewed
  • [Presentation] 遠隔学習のためのロボットアバターを用いた言語学習支援システムの試作2021

    • Author(s)
      名島大生, 加藤恒夫, 田村晃裕, 山本誠一
    • Organizer
      電子情報通信学会総合大会
  • [Presentation] Joining-in-typeロボット支援言語学習システムにおける学習者発話に対する単語分散表現の類似度に基づく回答レベル識別器2021

    • Author(s)
      萱原健太郎, 加藤恒夫, 山本誠一, 田村晃裕
    • Organizer
      電子情報通信学会総合大会
  • [Presentation] 遠隔による第二言語コミュニケーション訓練のためのロボットアバター言語学習支援システムにおける視線情報の分析2021

    • Author(s)
      名島大生, 寺本龍生, 加藤恒夫, 田村晃裕, 山本誠一
    • Organizer
      HAIシンポジウム
  • [Presentation] 自由会話における母語と第二言語間の視線動作の相違分析2020

    • Author(s)
      南藤友美, 馬田一郎, 加藤恒夫, 山本誠一
    • Organizer
      電子情報通信学会総合大会
  • [Presentation] Joining-in-type RALLへの回答の繰り返しの導入による第二言語学習効果の評価2020

    • Author(s)
      山本一貴, 加藤恒夫, 山本誠一
    • Organizer
      電子情報通信学会総合大会
  • [Presentation] Joining-in-type RALLシステムにおける学習者の繰り返し回答に対する音声認識結果識別器の精度評価2020

    • Author(s)
      萱原健太郎, 山本誠一, 加藤恒夫
    • Organizer
      第19回情報科学技術フォーラム
  • [Presentation] Effects of Linguistic Proficiency and Conversation Topic on Listener’s Gaze in Triadic Conversation2020

    • Author(s)
      Ichiro Umata, Koki Ijuin, Tsuneo Kato, and Seiichi Yamamoto.
    • Organizer
      12th International Conference, SCSM 2020
    • Int'l Joint Research
  • [Presentation] Quantitative Analyses of Gaze Duration from the viewpoints of Grounding Acts, Conversation Topic, and Linguistic Proficiency2020

    • Author(s)
      Ichiro Umata, Koki Ijuin, Tsuneo Kato, and Seiichi Yamamoto
    • Organizer
      42nd Annual Meeting of the Cognitive Science Society
    • Int'l Joint Research

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi