Research and development of multi-modal interactive English learning system based on deep learning
| Project/Area Number |
17H00823
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Research Field |
Educational technology
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
千葉 祐弥 東北大学, 工学研究科, 助教 (30780936)
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Project Status |
Granted (Fiscal Year 2019)
|
| Budget Amount *help |
¥29,250,000 (Direct Cost: ¥22,500,000、Indirect Cost: ¥6,750,000)
Fiscal Year 2019: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
Fiscal Year 2018: ¥7,020,000 (Direct Cost: ¥5,400,000、Indirect Cost: ¥1,620,000)
Fiscal Year 2017: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000)
|
|---|
| Keywords | CALLシステム / 英会話学習 / 発音評価 / 深層学習 / 音声対話システム / 英語学習システム / 発音自動評価 / 韻律自動評価 / 対話型英会話学習システム / 英会話学習システム / 音声対話 / 非母語話者音声認識 / マルチモーダル対話 / 教材情報システム / 英語教育システム |
|---|
| Outline of Annual Research Achievements |
深層学習を用いた英会話学習システムを作成するため、平成29年度は以下の3つの研究を主に行った。
1. 日本語話者の英語音声を高精度に認識するための音響モデルの検討を行った。さまざまな条件でGMM-HMMおよびDNN-HMMによって音響モデルを作成し、比較検討を行った。その結果、DNN-HMMを用いることで非母語話者音声に対しても高い認識精度が得られることが明らかになった。
2. 英会話のための音声対話システムを高度化するため、音声対話システムについての基礎的な検討を行った。まず、学習者の対話システムに対する印象を向上させるため、対話システムの発話スタイルを利用期間に応じて変更し、親しい話し方にする方法を検討した。その結果、提案するスタイル制御法により利用者の印象を向上させることができた。また、話題に関して掘り下げる質問を行うことができる対話システムを試作し、実験を行った。総合的な評価は今後行う予定である。
3. 音声だけでなくジェスチャや表情も利用するマルチモーダル英会話練習システムの作成に向けて、基礎的なコーパスの作成を行った。日本人話者が英語母語話者とコンピュータ上で対話するシステムを使って学習者の映像・音声の記録を行い、コーパスを収集した。次に、英語を母語とする英会話教師3名によってコーパス中の学習者の会話の流暢さを評価した。評価結果を分析したところ、音声の流暢さだけでなく、ジェスチャの自然さが全体としての流暢さの評価に影響を与えていることがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画において、平成29年度は(1)英語L2話者の音声認識性能向上、(2)滑舌レベル・出身地を考慮した英語音声合成、(3)ジェスチャ・表情・感情認識の高精度化を行うこととしていた。このうち(1)についてはほぼ達成され、(3)については基礎的データ整備と分析を行った。(2)については29年度は未実施である。一方、30年度に行う予定であった対話シミュレーションのための応答生成や対話型マルチモーダルCALLシステムに関しては、一部先取りして実施しsている部分があるので、全体としてはおおむね順調に推移しているといえる。
|
| Strategy for Future Research Activity |
今年度以降は、まずマルチモーダル英会話に向けて、29年度に作成したコーパスを用いたジェスチャ・表情・感情認識を実施していく。また、滑舌レベルなどを考慮した英語音声合成についても実施していく。一方、来年度作成予定の対話型マルチモーダルCALLシステムの作成に向けて、英語による音声対話システムの実装と検討を行っていく。また、自動発音評価および文法訂正も新たに取り組んでいく。
|
Report
(1 results)
Research Products
(5 results)
