| 研究課題/領域番号 |
17H00823
|
|---|
| 研究機関 | 東北大学 |
|---|
研究代表者 |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
|---|
| 研究分担者 |
千葉 祐弥 東北大学, 工学研究科, 助教 (30780936)
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2021-03-31
|
| キーワード | 英会話学習システム / CALLシステム / 音声対話 / 非母語話者音声認識 / マルチモーダル対話 |
|---|
| 研究実績の概要 |
深層学習を用いた英会話学習システムを作成するため、平成29年度は以下の3つの研究を主に行った。
1. 日本語話者の英語音声を高精度に認識するための音響モデルの検討を行った。さまざまな条件でGMM-HMMおよびDNN-HMMによって音響モデルを作成し、比較検討を行った。その結果、DNN-HMMを用いることで非母語話者音声に対しても高い認識精度が得られることが明らかになった。
2. 英会話のための音声対話システムを高度化するため、音声対話システムについての基礎的な検討を行った。まず、学習者の対話システムに対する印象を向上させるため、対話システムの発話スタイルを利用期間に応じて変更し、親しい話し方にする方法を検討した。その結果、提案するスタイル制御法により利用者の印象を向上させることができた。また、話題に関して掘り下げる質問を行うことができる対話システムを試作し、実験を行った。総合的な評価は今後行う予定である。
3. 音声だけでなくジェスチャや表情も利用するマルチモーダル英会話練習システムの作成に向けて、基礎的なコーパスの作成を行った。日本人話者が英語母語話者とコンピュータ上で対話するシステムを使って学習者の映像・音声の記録を行い、コーパスを収集した。次に、英語を母語とする英会話教師3名によってコーパス中の学習者の会話の流暢さを評価した。評価結果を分析したところ、音声の流暢さだけでなく、ジェスチャの自然さが全体としての流暢さの評価に影響を与えていることがわかった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の研究計画において、平成29年度は(1)英語L2話者の音声認識性能向上、(2)滑舌レベル・出身地を考慮した英語音声合成、(3)ジェスチャ・表情・感情認識の高精度化を行うこととしていた。このうち(1)についてはほぼ達成され、(3)については基礎的データ整備と分析を行った。(2)については29年度は未実施である。一方、30年度に行う予定であった対話シミュレーションのための応答生成や対話型マルチモーダルCALLシステムに関しては、一部先取りして実施しsている部分があるので、全体としてはおおむね順調に推移しているといえる。
|
| 今後の研究の推進方策 |
今年度以降は、まずマルチモーダル英会話に向けて、29年度に作成したコーパスを用いたジェスチャ・表情・感情認識を実施していく。また、滑舌レベルなどを考慮した英語音声合成についても実施していく。一方、来年度作成予定の対話型マルチモーダルCALLシステムの作成に向けて、英語による音声対話システムの実装と検討を行っていく。また、自動発音評価および文法訂正も新たに取り組んでいく。
|
