Development of a tone adjustment self-study app with evaluation, including all the functions of Japanese intonation and elucidating their relationship

2023 Fiscal Year Annual Research Report

• Project/Area Number: 19K00743
• Research Institution: Kumamoto Health Science University
• Principal Investigator: 馬場 良二 熊本保健科学大学, 保健科学部, 研究員 (30218672)
• Co-Investigator(Kenkyū-buntansha): 飯村 伊智郎 熊本県立大学, 総合管理学部, 教授 (50347697) ; 森山 賀文 熊本県立大学, 総合管理学部, 教授 (10413866) ; 石橋 賢 熊本県立大学, 総合管理学部, 准教授 (70749118)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: 音調機能の網羅 / 音調独習アプリ / AIによる発音評価 / 日本語学習者 / 楽しく楽に学べるシステムの開発 / 快適な言語コミュニケーション力の獲得 / 統計解析 / 進化計算

Outline of Annual Research Achievements

最終年度は、ディープラーニング技術による発話音声自動分類に対応する文の拡張に取り組んだ。対象の一文は、「はしだ」を採用し、これは音調パターンLHHで「端だ」、HLLで「箸だ」、LHLで「橋だ」と意味が異なる。これらの音調3パターンに加え、日本語として不自然なLLH、HLH、HHL、LLL、HHHの5パターンを録音した。学習用データは、42人の異なる日本語母語話者に発話してもらい、計336（42×8）音声データを収集した。なお、収集データの25%を検証用データに、残りを学習用データにそれぞれ用いた。
学習の結果、84.5%の識別精度が確認できた。正誤判定の詳細を確認したところ、自然な音調パターンであるLHHとHLLの正答率が他の識別結果に比べて低いことがわかった。特に、HLLの音調パターンは日本語学習者が取得しやすいアクセントであるにもかかわらず、自動分類ではその認識精度が低いことが興味深い点として挙げられた。反対に、日本語母語話者でも正確な音調パターンでの発話が難しかったHHLおよび、HHHの正答率はいずれも100%と人間が苦手とする点を自動分類は正確に識別していた。さらに、音調の高低変化のないLLLおよび、HHHの正答率も高い値を示し、変化パターン以外の特徴量で識別していることが伺える。誤判定のケースは、HHHのケースに分類されることが多く、人間が苦手とする音調パターンであることから、他の音調パターンにもHHHに類似した特徴で発話した学習データが含まれていた可能性がある。
本研究では、ディープラーニング技術を用いて発話音声自動分類の対象を拡張した。日本語学習者にとって習得しやすい音調パターンであるHLLの認識精度が低いことは、今後の研究課題として挙げられる。また、音調変化以外の特徴量を用いた識別についても詳細な分析を行い、より高精度な音声自動分類システムの開発を目指したい。