Research and development of a Japanese pronunciation training system using average voice morphing

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K13253
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Allocation Type: Multi-year Fund
• Research Field: Foreign language education
• Research Institution: Tohoku University
• Principal Investigator: NOSE Takashi 東北大学, 工学研究科, 准教授 (90550591)
• Co-Investigator(Kenkyū-buntansha): 千葉 祐弥 東北大学, 工学研究科, 助教 (30780936)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: e-ラーニング / コンピュータ学習支援（CALL） / 発音学習 / 統計的パラメトリック音声合成 / 深層学習 / 韻律置換

Outline of Final Research Achievements

In this study, we aim to make a new framework of realizing low cost, convenient, and convincing system for a Japanese pronunciation training for non-native speakers in Japan. Specifically, we used a statistical parametric speech synthesis with an teacher average-voice model trained using multiple teachers' speech, and achieved a more precise labeling of pronunciation scores by using feature substitution technique for phonetic and prosodic parameters of speech. We trained a prediction model of pronunciation scores for phoneme, accent, and rhythm, and achieved an efficient pronunciation training method by predicting non-native speakers' pronunciation scores.

Free Research Field

音声合成、音声対話システム、音声認識、音声信号処理、音声情報処理

Academic Significance and Societal Importance of the Research Achievements

法務省により公開されている在留外国人統計表によれば、日本における外国人の数は年々増加している。その一方で、英会話などに比べると発音の学習を提供するサービス、ソフトウェアは遥かに少ない。本課題で目指すシステムにより（１）非母語話者が発音の違いにより受ける社会的不利益やコミュニケーション力の低下などの問題が大幅に低減される。（２）構築した音韻・韻律別発音評定データベースを公開することで、多くの研究者に対してもより詳細な発音学習研究や応用が可能となる。などの社会的・学術的な波及効果が期待できる。