2019 Fiscal Year Research-status Report
英語スピーキングの自動評価に向けた評価指標と評価目的別スコアつき発話データの構築
| Project/Area Number |
17K13498
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
金丸 敏幸 京都大学, 国際高等教育院, 准教授 (70435791)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | スピーキング / 自動評価 / 発話データ / 評価指標 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究は，英語スピーキングの自動評価を行うための評価指標の作成，および評価目的に応じた適切な評価指標の重みづけを目的とし，英語スピーキングにおける評価指標の整理，評価目的に応じた自動評価用の評価指標の設定，英語スピーキング試験のスコア別サンプルと自動評価用指標でのスコアづけ，評価目的に応じたスコア付けを出力するための各指標の重みづけの調整，を行う．
計画三年目は，英語スピーキングの自動評価に向けた評価付きデータの作成に向けて，前年度に引き続き，発話データの収集および収集したデータのスコア付与とベクトル化に関する課題，を実施する予定であったが，実験協力者を十分に集められず，発話データの収集についてはさらに次年度も引き続き行うこととした．現在までのところ，集まったデータに対して，データのクリーニングと問題点の洗い出しを行っており，次年度のデータ収集後，スムーズに実験に移行できるよう準備を整えている．
具体的には，録音環境および機材の整備，またソフトウェアによるノイズリダクションのパラメータ調整などを行い，その値を記録している．また，音声分析のために準備した音響分析ソフトであるPraatにより，音声データの分析を試行し，発話データ評価基準をもとにして，符号化された音声データの評価分析の見通しを立てるなどの予備実験を実施した．一方で，最終年度の機械学習の実験環境を整備するために，実験プラットフォームの選定やテスト試行を行って，最終年度にスムーズに実験を開始できるための準備を進めている．
本年度も引き続き，文献研究を実施し，人工知能や機械学習によるスピーキングの自動評価についての概要と問題点を整理している．学会等で自動評価や言語処理に関する意見交換や情報収集を積極的に行い，計画最終年度に向けて研究を進めることができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度に引き続き，発話データの収集を行ったが，実験を実施するための十分なデータが得られておらず，当初の予定より，やや計画に遅れが生じている．しかし，それ以外の分析環境の整備や実験環境の整備を前倒しで行い，予定よりも拡充して準備することができたため，当初の計画以上の進捗であったため，全体としては概ね当初の計画通りに進んでいる．音声データの収集については，今年度も十分な参加者の確保ができなかったため，次年度に引き続いて実施する．一方で，研究結果の発表に関しても，研究スケジュールの都合が合わず，また，年度末に予定していた海外での国際会議等も感染症拡大の影響により大会が中止になるなどの影響があり，参加することができなかったため，最終年度に向けて引き続き，分析と発表に向けた準備およびスケジュールの調整を行っていく．
|
| Strategy for Future Research Activity |
今年度までの研究進捗を踏まえ，英語スピーキング能力を測る検定試験のスコアを持つ参与者の募集を行い，スコア別の発話データ収集を行う．なお，年度末時点の社会情勢を考慮すると，実際に人を集めて発話データを収集することが困難であると予想されるため，遠隔でデータを収集する方法についても検討する必要がある．集まったデータをスムーズに実験に活用できるための環境作りが重要になってくるため，機材やソフトウェアの環境の整備を進めていく．さらに，実験についても，オンライン（クラウド）上だけでなく，PC上で予備実験ができるための環境整備を行い，できるだけリソースの節約を図る．
|
| Causes of Carryover |
計画三年目で国際学会へ参加して情報収集と意見交換を行う予定であったが，年度末に世界的に流行した感染症のため，国際学会が相次いで中止となったため，年度内の実施ができなかった．国際大会への参加は最終年度に繰り越すことで，情報収集と意見交換や研究成果の発表を行う予定である．また，発話データの収集についても最終年度に引き続き実施する．実験環境の整備に関して，クラウド上の実行だけでなく，PC上でもできるようにPC購入とソフトウェアの調整を行う．
|
