2019 Fiscal Year Annual Research Report
Research and development of multi-modal interactive English learning system based on deep learning
| Project/Area Number |
17H00823
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
千葉 祐弥 東北大学, 工学研究科, 助教 (30780936)
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 外国語教育システム / CALLシステム / 英語発音評価 / 英語韻律評価 / 文法誤り検出 |
|---|
| Outline of Annual Research Achievements |
本年度は、以下の３つの研究を行った。
①2018年度に行っていた高精度発音評価の研究をより詳細に評価するための対話実験を行った。これまで開発してきた発音評価システムでは、英語ネイティブ話者の音声から学習した音声認識器と、非ネイティブ話者による英語音声から学習した音声認識器の２つを用意し、学習者の英語音声を２つの認識器で認識した結果を計算した。その２つの認識結果のレーベンシュタイン距離と認識スコアを組み合わせることで高精度な発音評価ができることを示した。2019年度の実験では、この方法が真に自発的な対話音声に対しても有効であることを示すため、シナリオを用いた英会話練習の音声、および自由会話による英会話音声を対象に発音評価を行った。その結果、いずれの条件においても提案システムの評価スコアと英語ネイティブ話者による評価スコアには高い相関がみられ、提案手法の有効性が示された。
②日本人学習者による文法誤りを含んだ音声を「文法誤りを含んだ状態のまま」認識することを目標とした。そのため、従来は誤りのない英語からルールによって誤りを付加した文を大量に生成し、そこから言語モデルを学習していた。提案法では、誤りのない英語文を日本人の犯しがちな誤りを含む英語文に変換するニューラルネットワークを学習し、これによって言語モデルを学習した。これにより、従来法よりもより実際の非母語話者の誤りに近いサンプルが得られ、音声認識精度が向上した。
③読み上げによる学習者の音声と教師音声、および読み上げた単語の特徴量をニューラルネットワーク(BLSTM)に入力することにより、従来の決定木に基づく韻律推定よりも高精度な推定が可能になった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
発音誤り評価に関しては、期待以上に進捗し、自由な対話音声に対する高精度な発音評価を世界で初めて実現することができた。文法誤り検出についてもおおむね良い結果である。韻律評価に関しては、従来よりも良い性能が得られたものの、最終的な性能は実用には足りないため、さらに研究が必要である。
|
| Strategy for Future Research Activity |
今年度開発した発音評価手法を利用し、高精度な発音評価の機能を持った対話型CALLシステム実現のために研究を行う。また、個々の発話の発音ではなく、学習者の能力を評価するという従来にないタスクに挑戦し、最終的なCALLシステムをより意義のあるものにしていく予定である。
|
