Designing and Managing a Multi-modal Corpus of English Classes to Empower English Teachers

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K00873
• Research Institution: Hokkaido University of Education
• Principal Investigator: 片桐 徳昭 北海道教育大学, 教育学部, 教授 (60734829)
• Co-Investigator(Kenkyū-buntansha): 大橋 由紀子 ヤマザキ動物看護大学, 動物看護学部, 准教授 (40589793)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 音声認識 / 画像情報 / 発音

Outline of Annual Research Achievements

「家庭用ビデオカメラマイクとプロ用音声収録機器による音声認識の比較」を行った。家庭用ビデオカメラマイクはSONY HDR-PJ40を使用し、プロ用音声収録機器はSURE MX-185と300-IMXを用いて、日本人学生の英語によるプレゼンテーションを収録した後、Google Chrome ブラウザー上で走るGoogle ドキュメントに付属する「音声認識」ツールを使用して、書き起こしを試みた。同時に、人間の耳による書き起こしも実施して、認識量の差を比較した。人間の耳には後者の音声のほうが聴きやすい印象を持ったが、実際の音声認識率には両者にばらつきがあり、どちらかが優れた認識率を示すには至らなかった。音声認識は話者の英語の発音の良し悪しが影響していものと推測された。
プロ用音声収録機器を利用して自動音声認識で発話コーパスの蓄積の速度を早める試みにおいては課題が残った。また、人間の耳による音声認識の方が優位であることが判明し、画像情報が人的書き起こしの認識率にプラスの影響を与えていることが示唆された。次の実験の方向性として、家庭用ビデオカのビデオ画像にプロ用音声収録機器による音声を合成したものを使用した書き起こしの有効性の検証が望ましいと推測された。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

新型コロナウイルスの世界的流行による学校閉鎖や、遠隔授業の実施により大きく二つの問題が生じたため、計画は遅れを余儀なくされた。一つは、学校現場での授業収録がいわゆる「3密」を避ける必要性からほぼ不可能となり、ビデオコーパス構築で使用するはずだったデータ収録がほぼ不可能となったこと。もう一点は、研究者自身が遠隔授業の対応や、所属場所(大学・大学院)で新型コロナウイルス対応で付随して発生した大量の業務に忙殺され計画遂行上十分な時間が取れなかったことである。

Strategy for Future Research Activity

今年度は、研究の最後の年度となったので、残された時間ではデータの蓄積は計画当初の分量は到底望めない。よって、システムの部分の開発に時間と労力や予算を使用することが必要となる。場合によっては、計画の1年延伸も視野に入れる必要が出てくることを想定する。

Causes of Carryover

データ収録が不可能となり、システムの開発が滞ったため。今後は専門業者にシステムの部分の開発を依頼することに算を使用することが必要となる。