2022 Fiscal Year Annual Research Report
Research on personalization of spoken-dialogue-based computer-assisted-language-learning system
| Project/Area Number |
22H03707
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Doshisha University |
|---|
Principal Investigator |
山本 誠一 同志社大学, 研究開発推進機構, 嘱託研究員 (20374100)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
菅原 真理子 同志社大学, 文学部, 教授 (10411050)
加藤 恒夫 同志社大学, 理工学部, 教授 (60607258)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | CALL / 第二言語習得 / 音声会話 |
|---|
| Outline of Annual Research Achievements |
グローバル化の進展により英語での言語運用能力の向上は喫緊の課題とされ，会話における言語運用能力向上のための施策も種々検討されている．第二言語での音声会話では，限られた時間内に発話内容とその表現形式及び使用語彙の選択を行い，表現形式に合致したフレーズ単位の設定等の韻律制御を行って発声することが求められ，これを実現するための発話行為の手続き知識化が必要となる．本研究の目的はこのような適切な形式での表現を適切な韻律により発話する行為の手続き知識化に関し，様々な言語運用能力の学習者に対して学習効果を引き出せる音声対話型CALL の構築が目的である．この目的達成のため，具体的には １．学習者の言語運用能力と浅い処理水準と深い処理水準を介した訓練による学習効果の関係を明らかにする． ２．学習者の表現形式の適切性に応じて再応答を促す手法やシステム側の発話速度を遅くする等の会話制御方法を確立する． ３．韻律評価法として各母音の継続時間長を主要要素とする客観評価法と英語母語話者の主観評価との関連を明らかにするなどの研究課題を探求する．
上記の研究目的を達成するために，模範的な発話表現による会話に続いて学習者に会話中での質問と同様の質問を行い学習者から回答を求める枠組みで，適切な形式での表現を適切な韻律により発話する訓練を行う方法を提案した．この際に，会話表現の一般的な訓練法であるrepeating訓練に比して深い処理水準での処理を必要とする学習であるquestion/answer訓練の学習効果を種々の環境下で検証し，会話での発話速度や会話内容の難易度等の訓練素材の学習者の言語運用能力に応じた最適化を検討した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度には処理水準の違いによる学習効果の確認を進めた．大学生約50名の実験協力者の参加を得て浅い処理水準に留まる学習であるrepeating訓練と深い処理水準での学習であるquestion/answer訓練の学習効果の比較実験を実施した結果，集中的な継続5日間での訓練効果に関し訓練初日と最終日に実施したpre-postテストでの比較では両者共に約60％程度の発話が適切な表現を用いて発話され，両者に有意な差は得られなかったが，訓練終了後の定着度テストではQ/A訓練による学習効果に統計的な優位性が示された．集中的な訓練での効果に関し訓練終了から数十日後の定着度テストではQ/A訓練による学習効果に統計的な優位性が示されたが，適切な表現での発話の割合が一定レベルに留まり，訓練方法に改良の余地があることが示された．
この実験結果をより広範囲な環境で検証することを目的に，１．学習課題として東アジア圏の言語では一般的には使用されないが英語では多用される表現である無生物主語表現を含む多様な会話シナリオを60種程度開発した．これらの会話の理解に関する主観的な難易度，repeatingの正解度に基づく客観的な難易度，更に，発話を構成する語彙に関するCEFR-J分類に基づく難易度推定等により，会話シナリオの難易度の定量化を試みた．更に２．これらの会話シナリオを英語母語話者による日常会話速度(natural），話速を少し落としたフレーズ単位の発話（slow）と単語単位の発話（very slow）を発声・録音を行いより種々の条件を設定した環境での実験を行う準備を進めた．
参照用の母語話者音声を必要としない自動韻律評価手法として，深層学習技術Transformerを活用した手法を開発し，英単語発声，短文発声の評価において大幅に精度を改善した．
以上のことからおおむね順調に進展していると評価している．
|
| Strategy for Future Research Activity |
2023年度には，これらの実験用素材の組み合わせに対して，複数人による会話理解に関する主観的な難易度評価，CEFRを利用した客観的な難易度評価等により得られた会話シナリオの難易度のランク付け結果に基づき，学習者の言語運用能力に応じてこれらの実験用素材を適応的に変更した場合の学習効果を検証する学習実験を行う．具体的には，
１．継続的に集中して訓練を行う設定ではなく，通常教室で行われる断続的な学習実施環境での効果の比較検証実験において，教室で通常実施される教材である会話シナリオと発話速度が固定された場合と，個々の学習者の言語運用能力に応じて適応的に変更させた場合の学習効果の比較を行う．
２．上記の比較実験を進めるために，実験協力者の発話を素早くテキスト化して発話表現の適切性を評価する準備を進め，発話速度を訓練期間中一定とした訓練と前回の訓練での評価結果に応じて発話速度変更する訓練との学習効果の比較実験を実施する．
３．会話シナリオの難易度を一定とした訓練と前回の訓練での評価結果に応じて会話シナリオの難易度を変更して行う訓練との学習効果の比較実験を行う．
４．韻律評価法の研究としては，訓練中得られた発話の韻律分析を行い，発話表現の適切性との関連性の評価を進めると共にシステム側の発話速度の違いによる韻律制御の学習効果の分析を進める．以上の実験を通じて得られたデータの分析に基づき、2024年度に実施予定のネットワークを介して実施する大規模なリモート実験の準備と前段階としての予備実験を進める．
|
