英語スピーキングの自動評価に向けた評価指標と評価目的別スコアつき発話データの構築

2022 Fiscal Year Research-status Report

• Project/Area Number: 17K13498
• Research Institution: Kyoto University
• Principal Investigator: 金丸 敏幸 京都大学, 国際高等教育院, 准教授 (70435791)
• Project Period (FY): 2017-04-01 – 2024-03-31
• Keywords: スピーキング / 自動評価 / 発話データ / 評価指標 / 機械学習

Outline of Annual Research Achievements

本研究は，英語スピーキングの自動評価を行うための評価指標の作成，および評価目的に応じた適切な評価指標の重みづけを目的とし，英語スピーキングにおける評価指標の整理，評価目的に応じた自動評価用の評価指標の設定，英語スピーキング試験のスコア別サンプルと自動評価用指標でのスコアづけ，評価目的に応じたスコア付けを出力するための各指標の重みづけの調整，を行うものである．
計画最終年度は，評価目的に応じたスコアを出力する自動評価モデルの実験，および調整を行う予定であった．自動評価モデルの実験では，外部のクラウドサービスを利用して機械学習による自動評価モデルの評価実験を実施する予定であったが，一昨年度，昨年度に続き，新型ウイルス感染症の感染状況が不透明なため，追加のスピーキングデータを収集する機会が得られなかった．そのため，実装モデルとスコアの調整についても進展させることができなかった．
一方，これまでに新しく行われたスピーキングや評価に関する研究について，文献収集と整理を行い，先行研究のアップデートを図った．先行研究の再整理により，本研究に活用できそうな外部データがいくつか見つかったため，今後はこれらのデータも入手し，本研究のモデルで実験することも考慮する．とくに，当該年度の後半に登場したChatGPTなどの大規模言語モデルについては，自動評価に応用することが見込まれるため，今後の研究にも導入できるかどうか，検討を行う．
以上のように，一昨年度と昨年度に引き続き，年度当初より新型ウイルス感染症の感染拡大の影響を受け，とくにデータ整理の面で研究計画を大幅に見直す必要に迫られたため，外部での発表およびデータの公開についても遂行できず，研究期間の再々延長を行った．

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

一昨年度，昨年度と同様，最終年度に実施予定であった，英語発話の追加収集を行い，実験を実施するためのスピーキングデータを整理する予定であったが，新型ウイルス感染症の感染状況が見通せず，対面による発話データが収集できない状態が続いていたため，計画を当初研究期間を再々延長することとなった．次年度はデータの追加収集にも支障がなくなるものと予想されるため，データの整理と分析を実施できる見込みである．

Strategy for Future Research Activity

これまでの研究進捗を踏まえ，英語スピーキング能力を測る検定試験のスコアを持つ参与者の募集を行い，スコア別の発話データ収集を行う．令和五年度には新型コロナウイルスも五類への移行が予定されているため，実際に参与者を集めて発話データを収集することができるものとみている．機材やソフトウェアの環境が当初よりも時間が経過したため，必要に応じて更新を行いつつ，実験については，オンライン（クラウド）上だけでなく，PC上でも予備実験ができるための環境整備を行い，できるだけ効率的な実験遂行を目指す．また，当初予定していた機械学習だけでなく，大規模言語モデルを活用した自動評価についても実装できるかどうか検討し，対応を試みる．

Causes of Carryover

新型コロナウイルス感染症の感染状況による研究計画変更が生じたため．