2018 Fiscal Year Annual Research Report
Research and development of a Japanese pronunciation training system using average voice morphing
| Project/Area Number |
16K13253
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
千葉 祐弥 東北大学, 工学研究科, 助教 (30780936)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | e-ラーニング / 語学学習支援システム(CALL) / 発音学習 / 統計的パラメトリック音声合成 / 深層学習 / 韻律置換 |
|---|
| Outline of Annual Research Achievements |
本課題では、日本において非母語話者が日本語の発音学習を「低コストで」「手軽に」「確実に」行えるような新たな枠組の実現を目指す。具体的には複数の教 師話者の音声により学習した平均教師声モデルによる統計的パラメトリック音声合成を利用し、音声の音韻や韻律(ピッチ・リズム)を特徴量毎に置換することで、従来よりも詳細で高精度な発音スコアのラベル付けを可能とする。さらに、この技術により発音スコアデータベースを新たに構築する。このデータベースを用いて音韻、アクセント、リズムについて個別に発音スコアの予測モデルを学習し、非母語話者の発音スコアを予測することで、発音学習を効率的に行うことを 目指す。さらに、平均声と利用者間で特徴量の段階的な補間を行う平均声モーフィングによる教師音声のフィートバックを行うことで、より着実に正しい発音を身につける方法を提案する。本年度は日本語音声合成において、非母語話者が聞きやすい音声の話速・ポーズ挿入位置について検討したものを論文としてまとめ公表するとともに、より聞きやすい音声を得ることを目的として、合成音声の自然性向上のため深層学習に基づいて差分特徴量に基づく制御法、および日本語アクセントの推定精度向上について取り組んだ。前者については、セグメント単位で平均化された基本周波数情報を用いて、従来の合成音声に対する差分となる特徴量を深層学習によりモデル化することで、自然性を保ちつつより柔軟な韻律の制御が可能となった。
|
