2018 Fiscal Year Annual Research Report
Research and development of multi-modal interactive English learning system based on deep learning
| Project/Area Number |
17H00823
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
千葉 祐弥 東北大学, 工学研究科, 助教 (30780936)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 英語学習システム / 音声認識 / 音声対話 / 音声合成 / 発音自動評価 / マルチモーダル / 深層学習 |
|---|
| Outline of Annual Research Achievements |
2018年度は主に3つの内容について取り組んだ。1つ目として、英会話練習をしている日本人学習者の音声と映像のマルチモーダルデータを用い、英語の流暢さの知覚に映像情報がどのように影響するかを調べた。英語母語話者3名の評定結果の分析から、表情やジェスチャーの自然さは、総合的な流暢さに対してアクセントやイントネーションの良さと同等の影響が有ることが明らかになった。また、映像データから自動抽出した情報を元に、表情・ジェスチャーの自然さの評定値を推定する方法を開発した。2つ目は、音声対話による英会話練習システムに向けて、特定の話題について雑談を行う音声対話システムの印象向上手法の研究を行った。この方法では、学習者とシステムが相互に自分の情報を相手に伝える（自己開示）ように対話戦略を設定する。この対話戦略により、対話システムに対するユーザーの印象を高めることができた。3つ目として、対話音声を対象とした英語音声の発音の自動評定手法を開発した。従来の音声の発音評価では、対象となる音声の発話内容が既知であることが前提となっていた。しかし、英会話練習においては、必ずしも事前に設定された内容を発話するとは限らない。提案手法は、英語ネイティブ音声から学習した音響モデルと、日本人英語音声から学習した音響モデルの2つを使って音声認識結果を2つ出力し、その違いの情報を使って発音の良さを評価する。提案法によって、英語母語話者の評定値と相関0.8を超える性能が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上に述べたとおり、3つのテーマについて十分な進捗があった。いずれの結果も、国際会議での発表または国際学術雑誌への投稿を行っている。一方、多様な音声合成のテーマに関しては、まだ日本語を対象としたプロトタイプを作成しているところであり、今後英語音声合成に展開する。
|
| Strategy for Future Research Activity |
これからの最大のテーマは、対話型英会話学習システムを作成することである。また、単に音声だけでなく、マルチモーダル情報を取り入れて学習者の総合的な英語能力を評価しながら学習にフィードバックする方法を開発する。最終的には実際に英会話学習を行うことで効果を測定する。
|
