Study on Japanese utterance learning support system using the phonetic segments

2019 Fiscal Year Final Research Report

• Project/Area Number: 16K00484
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Learning support system
• Research Institution: University of Shizuoka
• Principal Investigator: Matsuura Hiroshi 静岡県立大学, 経営情報学部, 教授 (60451085)
• Co-Investigator(Kenkyū-buntansha): 澤崎 宏一 静岡県立大学, 国際関係学部, 教授 (20363898) ; 秀島 雅之 東京医科歯科大学, 歯学部附属病院, 講師 (50218723)
• Project Period (FY): 2016-04-01 – 2020-03-31
• Keywords: 発話評価 / イントネーション / アクセント / 母音の無声化 / 特殊拍 / 基本周波数 / 日本語学習 / 音声セグメント

Outline of Final Research Achievements

We have developed a Japanese utterance education system to support Japanese pronunciation learning instructors and improve the learners' utterances efficiently. The system automatically evaluates utterances by using the fundamental frequency F0 and independently developed phonetic segments, and extracts speech parameters for each frame and F0 for each mora. In addition, it was confirmed that the correct rate of the utterance determination by deep learning of F0 sequence is slightly higher than the correct rate by the decision tree if sufficient training data (about 150 or more) is provided. In the system, the results of utterance determination and the improvement points such as accent and intonation are presented by graphs and comments, and it is possible to support concrete utterance education.

Free Research Field

音声処理

Academic Significance and Societal Importance of the Research Achievements

日本語のコミュニケーションにおいて、モーラ長、アクセント、イントネーション、プロミネンスなどによって、発話者の感情・意図を的確に読み取ることが重要である。外国人の日本語学習を効率的に行えれば、正しい日本語発音を普及することができ、グローバル化の中での日本語の普及につながる。また、外国人の発話の癖が分かっていれば、音声認識性能の更なる向上や、外国人の発話に現れる感情・意図をより的確に捉えることが可能となり、機械によるコミュニケーションを一層高度化する。