Research on personalization of spoken-dialogue-based computer-assisted-language-learning system
| Project/Area Number |
23K24962
|
|---|
| Project/Area Number (Other) |
22H03707 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Doshisha University |
|---|
Principal Investigator |
山本 誠一 同志社大学, 研究開発推進機構, 嘱託研究員 (20374100)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
菅原 真理子 同志社大学, 文学部, 教授 (10411050)
加藤 恒夫 同志社大学, 理工学部, 教授 (60607258)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥11,830,000 (Direct Cost: ¥9,100,000、Indirect Cost: ¥2,730,000)
Fiscal Year 2025: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2022: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
|
|---|
| Keywords | 第二言語獲得 / CALL / 第二言語習得 / 音声会話 / 遠隔教育 / implicit learning / tutoring |
|---|
| Outline of Research at the Start |
英語等の第二言語でのコミュニケーション能力の向上が強く求められている．第二言語による音声会話では，発話内容とその表現形式及び使用語彙の選択を限られた時間内に行い，表現形式に合致したフレーズ単位の設定等の韻律制御を行って発声する行為が必要となり，この実現のために発話行為の手続き知識化が必須となる．本研究は様々な言語運用能力の学習者に対し適切な形式での表現を適切な韻律により発話する手続き知識化を効果的に行うのを支援する音声対話型CALLの構築が目的である．具体的には、二人の会話に学習者が参加して自然な形での会話能力の向上を目指すJoining-in-typeのCALLの実現を目的としている．
|
| Outline of Annual Research Achievements |
グローバル化の進展により英語での言語運用能力の向上は喫緊の課題とされ，会話における言語運用能力向上のための施策も種々検討されている．第二言語での音声会話では，限られた時間内に発話内容とその表現形式及び使用語彙の選択を行い，表現形式に合致したフレーズ単位の設定等の韻律制御を行って発声することが求められ，これを実現するための発話行為の手続き知識化が必要となる．本研究の目的はこのような適切な形式での表現を適切な韻律により発話する行為の手続き知識化に関し，様々な言語運用能力の学習者に対して学習効果を引き出せる音声対話型CALL の構築が目的である．この目的達成のため，具体的には １．学習者の言語運用能力と浅い処理水準と深い処理水準を介した訓練による学習効果の関係を明らかにする． ２．学習者の表現形式の適切性に応じて再応答を促す手法やシステム側の話速を遅くする等の会話制御方法を確立する． ３．韻律評価法として各母音の継続時間長を主要要素とする客観評価法と英語母語話者の主観評価との関連を明らかにするなどの研究課題を探求する．
上記の研究目的を達成するために，模範的な発話表現による会話に続いて学習者に会話中の質問と同様の質問を行い学習者から回答を求める枠組みで，適切な形式での表現を適切な韻律により発話する訓練を行う方法であるJoining-in-type CALL（JIT-CALL）システムを提案した．訓練効果を評価する指標として学習者の適切な表現形式の増加割合を検証するため，本システムを用いて学習者の発話を収集し，会話表現の一般的な訓練法であるrepeating訓練に比して深い処理水準での処理を必要とする学習であるquestion/answer訓練の学習効果を種々の環境下での検証を進めた．更に，学習者の言語運用能力の向上に応じて会話での話速を制御する手法の予備実験を実施した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度には日本語を含む東アジア圏の言語とは異なり英語では多く用いられる表現形式である無生物主語構文を含む会話シナリオを50種以上開発し，英語母語話者による3種類の話速での発話による会話訓練素材を作成した．この会話訓練素材を用いて，大学生約50名の実験協力者の参加を得て浅い処理水準に留まる学習であるrepeating訓練(RP)と深い処理水準での学習であるquestion/answer訓練(QA)の学習効果について各々10名程度の被験者での訓練データ収集を実施した．得られたデータに関して統計的な検定を実施したところ、集中訓練では訓練直後のテストではRPとQAに有意な差は見られなかったが、定着度試験ではQAはRPに対して有意な訓練効果が見られた．一方，分散訓練では訓練直後のテストでQAはRPに対して有意な訓練効果の差が見られたが、定着度試験では有意な差は見られなかった．別途実施したQAでの話速の差異による訓練効果に関する試験では実験協力者の英語運用能力を示すCEFRの値によって異なる傾向が見られた．
以上，QA訓練はRP訓練より表現形式の習得に効果的であることが示唆されたが，集中訓練と分散訓練で会話シナリオが一部異なる点や定着度試験では十分なデータ数が得られていないこと等から，総合的な評価に対しては信頼性が十分とは言えない．
一方，CEFRが計測された実験協力者という英語運用能力が整備された条件で大規模なデータ収集を進めるに当たっては従来の対面でのデータ収集では難しいと判断し，並行してロボットとの対面での会話に代わってアバターによる会話にリモートで参加する形式でのデータ収集を可能とするシステムの開発を進めてきた．具体的にはゲーム開発で広く利用されているUnityと音声認識ソフトを接続し，Windowsのremote desktop環境で動作するシステムを開発した．
|
| Strategy for Future Research Activity |
2023年度に開発した遠隔でデータ収集が可能なJIT-CALLシステムを使用して大規模なデータ収集を実施し，実験協力者の英語運用能力毎に異なる訓練手法での訓練効果との関連について分析を進める．並行して，従来得られた応答データを用いて表現形式の適切性を自動評価する手法の検証を進めると共に，応答内容に応じてシステムの話速を遅くする，同じ話速で再度質問応答を繰り返す，より適切な応答を提示する等の評価結果に応じた適応的な対応方法の訓練効果を評価する予備実験を進める．具体的には，
１．大規模なデータ収集に関しては，同一の会話シナリオを用いてQAによる集中訓練，RPによる集中訓練，QAによる分散訓練，RPによる分散訓練を，CEFRによる客観的な英語運用能力を評価された各グループ30名計120名の実験協力者でデータ収集を実施する．なお，各グループの実験協力者のCEFRの分布を出来るだけ同じに保つ設定を行うことにより学習者の英語運用能力毎の訓練方法の効果の違いを明確化する．
２．表現形式の自動評価手法については大規模言語モデルを用いて質問に対する応答の意味的な妥当性と共に表現形式の文法的な妥当性を評価する手法の検証を行う．
３．訓練中での応答の自動評価結果に応じて，意味的な妥当性に欠ける場合は聴解力に課題ありとしてシステムの話速を遅くする，表現形式の文法的な妥当性に課題がある場合は同じ話速で再度質問応答を繰り返す，その他の場合は表現形式に応じてより適切な応答を提示する等の適応的な対応方法を採用した場合の訓練効果に関する予備実験を実施する．
４．韻律評価法の研究としては，訓練中得られた発話の韻律分析を行い，発話表現の適切性との関連性の評価を進めると共にシステム側の発話速度の違いによる韻律制御の学習効果の分析を進める．
|
Report
(2 results)
Research Products
(7 results)
