• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Research on personalization of spoken-dialogue-based computer-assisted-language-learning system

研究課題

研究課題/領域番号 23K24962
補助金の研究課題番号 22H03707 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分62030:学習支援システム関連
研究機関同志社大学

研究代表者

山本 誠一  同志社大学, 研究開発推進機構, 嘱託研究員 (20374100)

研究分担者 菅原 真理子  同志社大学, 文学部, 教授 (10411050)
加藤 恒夫  同志社大学, 理工学部, 教授 (60607258)
研究期間 (年度) 2022-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
11,830千円 (直接経費: 9,100千円、間接経費: 2,730千円)
2025年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2024年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2023年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2022年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
キーワード第二言語獲得 / CALL / 第二言語習得 / 音声会話 / 遠隔教育 / implicit learning / tutoring
研究開始時の研究の概要

英語等の第二言語でのコミュニケーション能力の向上が強く求められている.第二言語による音声会話では,発話内容とその表現形式及び使用語彙の選択を限られた時間内に行い,表現形式に合致したフレーズ単位の設定等の韻律制御を行って発声する行為が必要となり,この実現のために発話行為の手続き知識化が必須となる.本研究は様々な言語運用能力の学習者に対し適切な形式での表現を適切な韻律により発話する手続き知識化を効果的に行うのを支援する音声対話型CALLの構築が目的である.具体的には、二人の会話に学習者が参加して自然な形での会話能力の向上を目指すJoining-in-typeのCALLの実現を目的としている.

研究実績の概要

グローバル化の進展により英語での言語運用能力の向上は喫緊の課題とされ,会話における言語運用能力向上のための施策も種々検討されている.第二言語での音声会話では,限られた時間内に発話内容とその表現形式及び使用語彙の選択を行い,表現形式に合致したフレーズ単位の設定等の韻律制御を行って発声することが求められ,これを実現するための発話行為の手続き知識化が必要となる.本研究の目的はこのような適切な形式での表現を適切な韻律により発話する行為の手続き知識化に関し,様々な言語運用能力の学習者に対して学習効果を引き出せる音声対話型CALL の構築が目的である.この目的達成のため,具体的には 1.学習者の言語運用能力と浅い処理水準と深い処理水準を介した訓練による学習効果の関係を明らかにする. 2.学習者の表現形式の適切性に応じて再応答を促す手法やシステム側の話速を遅くする等の会話制御方法を確立する. 3.韻律評価法として各母音の継続時間長を主要要素とする客観評価法と英語母語話者の主観評価との関連を明らかにするなどの研究課題を探求する.
上記の研究目的を達成するために,模範的な発話表現による会話に続いて学習者に会話中の質問と同様の質問を行い学習者から回答を求める枠組みで,適切な形式での表現を適切な韻律により発話する訓練を行う方法であるJoining-in-type CALL(JIT-CALL)システムを提案した.訓練効果を評価する指標として学習者の適切な表現形式の増加割合を検証するため,本システムを用いて学習者の発話を収集し,会話表現の一般的な訓練法であるrepeating訓練に比して深い処理水準での処理を必要とする学習であるquestion/answer訓練の学習効果を種々の環境下での検証を進めた.更に,学習者の言語運用能力の向上に応じて会話での話速を制御する手法の予備実験を実施した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

2023年度には日本語を含む東アジア圏の言語とは異なり英語では多く用いられる表現形式である無生物主語構文を含む会話シナリオを50種以上開発し,英語母語話者による3種類の話速での発話による会話訓練素材を作成した.この会話訓練素材を用いて,大学生約50名の実験協力者の参加を得て浅い処理水準に留まる学習であるrepeating訓練(RP)と深い処理水準での学習であるquestion/answer訓練(QA)の学習効果について各々10名程度の被験者での訓練データ収集を実施した.得られたデータに関して統計的な検定を実施したところ、集中訓練では訓練直後のテストではRPとQAに有意な差は見られなかったが、定着度試験ではQAはRPに対して有意な訓練効果が見られた.一方,分散訓練では訓練直後のテストでQAはRPに対して有意な訓練効果の差が見られたが、定着度試験では有意な差は見られなかった.別途実施したQAでの話速の差異による訓練効果に関する試験では実験協力者の英語運用能力を示すCEFRの値によって異なる傾向が見られた.
以上,QA訓練はRP訓練より表現形式の習得に効果的であることが示唆されたが,集中訓練と分散訓練で会話シナリオが一部異なる点や定着度試験では十分なデータ数が得られていないこと等から,総合的な評価に対しては信頼性が十分とは言えない.
一方,CEFRが計測された実験協力者という英語運用能力が整備された条件で大規模なデータ収集を進めるに当たっては従来の対面でのデータ収集では難しいと判断し,並行してロボットとの対面での会話に代わってアバターによる会話にリモートで参加する形式でのデータ収集を可能とするシステムの開発を進めてきた.具体的にはゲーム開発で広く利用されているUnityと音声認識ソフトを接続し,Windowsのremote desktop環境で動作するシステムを開発した.

今後の研究の推進方策

2023年度に開発した遠隔でデータ収集が可能なJIT-CALLシステムを使用して大規模なデータ収集を実施し,実験協力者の英語運用能力毎に異なる訓練手法での訓練効果との関連について分析を進める.並行して,従来得られた応答データを用いて表現形式の適切性を自動評価する手法の検証を進めると共に,応答内容に応じてシステムの話速を遅くする,同じ話速で再度質問応答を繰り返す,より適切な応答を提示する等の評価結果に応じた適応的な対応方法の訓練効果を評価する予備実験を進める.具体的には,
1.大規模なデータ収集に関しては,同一の会話シナリオを用いてQAによる集中訓練,RPによる集中訓練,QAによる分散訓練,RPによる分散訓練を,CEFRによる客観的な英語運用能力を評価された各グループ30名計120名の実験協力者でデータ収集を実施する.なお,各グループの実験協力者のCEFRの分布を出来るだけ同じに保つ設定を行うことにより学習者の英語運用能力毎の訓練方法の効果の違いを明確化する.
2.表現形式の自動評価手法については大規模言語モデルを用いて質問に対する応答の意味的な妥当性と共に表現形式の文法的な妥当性を評価する手法の検証を行う.
3.訓練中での応答の自動評価結果に応じて,意味的な妥当性に欠ける場合は聴解力に課題ありとしてシステムの話速を遅くする,表現形式の文法的な妥当性に課題がある場合は同じ話速で再度質問応答を繰り返す,その他の場合は表現形式に応じてより適切な応答を提示する等の適応的な対応方法を採用した場合の訓練効果に関する予備実験を実施する.
4.韻律評価法の研究としては,訓練中得られた発話の韻律分析を行い,発話表現の適切性との関連性の評価を進めると共にシステム側の発話速度の違いによる韻律制御の学習効果の分析を進める.

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (7件)

すべて 2024 2023 2022

すべて 学会発表 (7件) (うち国際学会 1件)

  • [学会発表] ロボット学習支援システムにおける話速制御による学習効果の比較検証2024

    • 著者名/発表者名
      名田佳代,加藤恒夫,山本誠一
    • 学会等名
      日本響学会 第151回春季研究発表会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Retention Effects of Form-focused English Speaking Training Based on Question-Answering Task in Comparison with Repeating Task using Robot-assisted Language Learning System2023

    • 著者名/発表者名
      Daiki Muramoto, Tsuneo Kato, Akihiro Tamura, Seiichi Yamamoto
    • 学会等名
      Proc. 9th Workshop on Speech and Language Technology in Education (SLaTE)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] ロボット支援言語学習システムを用いた質問回答訓練とリピーティング訓練による中期的な英語表現定着度の比較評価2023

    • 著者名/発表者名
      村本 大樹,加藤 恒夫,田村 晃裕,山本 誠一
    • 学会等名
      2023年度人工知能学会全国大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Multi-task Training with Joining-in-type Robot-assisted Language Learning System2023

    • 著者名/発表者名
      Yu ZHA, Tsuneo KATO, Seiichi YAMAMOTO, Akihiro TAMURA
    • 学会等名
      電子情報通信学会 教育工学研究会(ET)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ロボット支援言語学習システムにおける設問の難易度制御に向けた正答率の重回帰分析2023

    • 著者名/発表者名
      岩井康洋,野村采加,加藤恒夫、田村晃裕、山本誠一
    • 学会等名
      情報処理学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ロボット支援言語学習システムを用いた質問応答訓練とリピーティングによる中期的な英語表現定着度の比較評価2023

    • 著者名/発表者名
      村本大樹,加藤恒夫,田村晃裕、山本誠一
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Joining-in-typeロボット支援言語学習システムにおける設問の難易度制御に向けた相関分析2022

    • 著者名/発表者名
      岩井康洋,野村采加,山本誠一,加藤恒夫、田村晃裕
    • 学会等名
      第25回日本音響学会関西支部若手研究者交流研究発表会
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi