• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Joining-in-type CALL system using dialogue agent

Research Project

Project/Area Number 19K00927
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 02100:Foreign language education-related
Research InstitutionDoshisha University

Principal Investigator

Yamamoto Seiichi  同志社大学, 研究開発推進機構, 嘱託研究員 (20374100)

Co-Investigator(Kenkyū-buntansha) 加藤 恒夫  同志社大学, 理工学部, 教授 (60607258)
Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2019: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
KeywordsCALL / implicit learning / interactive alignment / 遠隔教育 / tutoring / 音声認識 / 音声対話
Outline of Research at the Start

第二言語学習者の文法や語彙の誤りを指摘して言語運用能力向上を図る音声対話型CALLシステムは、高精度の音声認識を実現するため、学習者の発話を厳しく制限している。本研究は自然な形での発話制限を実現するため、言語運用能力の低い参加者は運用能力の高い参加者の表現を借用する傾向があるという現象を利用し自然な形で発話制限を行う手法として、複数の会話エージェントと学習者とのストーリー性のある会話で、学習者が会話エージェント間の会話の発話表現を学び、その表現を借用するように誘導して、自然と制限された学習者の表現の的確な認識を実現し、発話表現の誤りの指摘を行う音声対話型CALLシステムの研究を目的とする。

Outline of Final Research Achievements

Automatic speech recognizer (ASR) is indispensable for dialogue-based computer-assisted-language learning (DB-CALL) system to give learners adequate corrective feedback. However, ASR of the second language learners is still a challenge, because their speech contains not just pronouncing, lexical, grammatical errors, but is sometimes totally disordered. This research proposed a novel DB-CALL system using two conversational agents, one as a teacher and the other as an advanced learner. The system is designed to simulate multiparty conversation, expecting implicit learning and enhancement of predictability of learners' utterance through an alignment similar to "interactive alignment" observed in human-human conversation. The experiment demonstrated that repetitive queries of specific grammatical expressions consistently improved the correct use of the expressions than simple single query, and also suggests that its retention effect is higher than conventional repeating training.

Academic Significance and Societal Importance of the Research Achievements

第二言語での音声会話では、限られた時間内に発話内容とその表現形式及び使用語彙の選択を行って発声することが求められ、これを実現するための発話行為の手続き知識化が必要となる。従来この過程を強化する訓練として教師の発話をrepeatingする方法が主に使用されている。本研究により適切な表現形式で行われる模範的な会話を聴取し,その表現形式を借用して応答を行う質問応答による訓練が手続き知識化に効果的であることが示された.本結果は深い処理水準を経た記憶は、浅い処理水準のみを経た記憶より定着し易いと実験心理学の知見とも合致しており,効果的な外国語の発話訓練を提供する.

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (21 results)

All 2022 2021 2020 2019

All Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (18 results) (of which Int'l Joint Research: 4 results)

  • [Journal Article] 対面・オンラインのコミュニケーション特性比較: 共創活動の観点から2022

    • Author(s)
      馬田 一郎, 伊集院 幸輝, 加藤 恒夫, 山本 誠一
    • Journal Title

      認知科学

      Volume: 29 (2)

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 音声認識エンジンに独立な特定ドメイン向け音声認識誤り識別器2020

    • Author(s)
      田中拓, 野田直希, 加藤恒夫, 山本誠一
    • Journal Title

      情報処理学会論文誌

      Volume: 61-3 Pages: 618-627

    • NAID

      170000181787

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] Learning Effect of Implicit Learning in Joining-in-type Robot-assisted Language Learning System2019

    • Author(s)
      Khalifa AlBara、Kato Tsuneo、Yamamoto Seiichi
    • Journal Title

      International Journal of Emerging Technologies in Learning (iJET)

      Volume: 14 Issue: 02 Pages: 105-123

    • DOI

      10.3991/ijet.v14i02.9212

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] ロボット支援言語学習システ ムを用いたリピーティング訓練と質問回答訓練による学習定着度の比較評価2022

    • Author(s)
      村本大樹, 名島大生, 加藤恒夫, 田村晃裕, 山本誠一
    • Organizer
      情報処理学 会第 84 回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 非自己回帰型ニューラル音声認識における周期性導入による音素セグメンテーションの精度改善2021

    • Author(s)
      本田裕己、加藤恒夫、田村晃裕、山本誠一
    • Organizer
      電子情報通信学会総合全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Joining-in-typeロボット支援言語学習システムにおける学習者発話に対する単語分散表現の類似度に基づく回答レベル識別器2021

    • Author(s)
      萱原健太郎、加藤恒夫、山本誠一、田村晃裕
    • Organizer
      電子情報通信学会総合全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 遠隔学習のためのロボットアバターを用いた言語学習支援システムの試作2021

    • Author(s)
      名島大生、加藤恒夫、田村晃裕、山本誠一
    • Organizer
      電子情報通信学会総合全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 遠隔による第二言語コミュニケーション訓練のためのロボットアバター言語学習支援システムにおける視線情報の分析2021

    • Author(s)
      名島大生、寺本龍、加藤恒夫、田村晃裕、山本誠一
    • Organizer
      HAIシンポジウム
    • Related Report
      2021 Annual Research Report
  • [Presentation] 遠隔による第二言語コミュニケーションくんれんのためのロボットアバターー言語学習支援システム2021

    • Author(s)
      名島大生、村本大樹、加藤恒夫、田村晃裕、山本誠一
    • Organizer
      日本音響学会2021秋季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Remote Learning of Speaking in Syntactic Forms with Robot-Avatar-Assisted Language Learning System2021

    • Author(s)
      Taisei Najima, Tsuneo Kato, Akihiro Tamura, Seiichi Yamamoto
    • Organizer
      Text, Speech and Dialogue (TSD) 2021
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 遠隔学習のためのロボットアバターを用いた言語学習支援システムの試作2021

    • Author(s)
      名島大生, 加藤恒夫, 田村晃裕, 山本誠一
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] Joining-in-typeロボット支援言語学習システムにおける学習者発話に対する単語分散表現の類似度に基づく回答レベル識別器2021

    • Author(s)
      萱原健太郎, 加藤恒夫, 山本誠一, 田村晃裕
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 遠隔による第二言語コミュニケーション訓練のためのロボットアバター言語学習支援システムにおける視線情報の分析2021

    • Author(s)
      名島大生, 寺本龍生, 加藤恒夫, 田村晃裕, 山本誠一
    • Organizer
      HAIシンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] 自由会話における母語と第二言語間の視線動作の相違分析2020

    • Author(s)
      南藤友美, 馬田一郎, 加藤恒夫, 山本誠一
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] Joining-in-type RALLへの回答の繰り返しの導入による第二言語学習効果の評価2020

    • Author(s)
      山本一貴, 加藤恒夫, 山本誠一
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] Joining-in-type RALLシステムにおける学習者の繰り返し回答に対する音声認識結果識別器の精度評価2020

    • Author(s)
      萱原健太郎, 山本誠一, 加藤恒夫
    • Organizer
      第19回情報科学技術フォーラム
    • Related Report
      2020 Research-status Report
  • [Presentation] Effects of Linguistic Proficiency and Conversation Topic on Listener’s Gaze in Triadic Conversation2020

    • Author(s)
      Ichiro Umata, Koki Ijuin, Tsuneo Kato, and Seiichi Yamamoto.
    • Organizer
      12th International Conference, SCSM 2020
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Quantitative Analyses of Gaze Duration from the viewpoints of Grounding Acts, Conversation Topic, and Linguistic Proficiency2020

    • Author(s)
      Ichiro Umata, Koki Ijuin, Tsuneo Kato, and Seiichi Yamamoto
    • Organizer
      42nd Annual Meeting of the Cognitive Science Society
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] oining-in-type RALLシステムへの回答の繰り返しの導入による第二言語学習効果の評価2020

    • Author(s)
      山本一貴、加藤恒夫、山本誠一
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] Features of Utterances by Second Language Learners Collected with Joining-in-type Robot-Assisted-Language-Learning System2019

    • Author(s)
      Kazuki Yamamoto, AlBara Khalifa, Yusaku Mitamura, Tsuneo Kato, Seiichi Yamamoto
    • Organizer
      Oriental COCOSDA 2019
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Joining-in-type RALLシステムにおける視線動作と会話の理解度との関係についての分析2019

    • Author(s)
      藤尾昇平, 伊集院幸輝, 加藤恒夫, 山本誠一
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi