Development of pronunciation training system for Chinese triphthong using information technology

2021 Fiscal Year Research-status Report

• Project/Area Number: 19K03074
• Research Institution: National Institute of Technology, Toyama College
• Principal Investigator: 星野 朱美 富山高等専門学校, その他部局等, 教授 (90300566)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 中国語 / 前鼻音 / 後鼻音 / パワー / フォルマント

Outline of Annual Research Achievements

中国語を学習する人の殆どは，中国語の「前鼻音」と「後鼻音」の発話も聞き分けも困難に感じている。学生は「前鼻音」を発音するつもりでも，「後鼻音」になってしまう。また，逆のケースもある。帰宅後の自習では自分の発話の正確な評価手段もない。そのため，本研究ではＩＴ技術を用いた中国語発音教育のコンピュータ援助指導システム（ＣＡＩ）の開発を目指している。
本研究は舌尖音の「前鼻音」と「後鼻音」の自動判別を目的として，まず，広島大学図書館にて中国語の多重母音について，解析方法や，実験の手法や実験の手法，音声トレーニング方法などの資料を収集した。発話音声の中国語話者と日本語話者の「無気音」と「有気音」の舌尖音の「前鼻音」と「後鼻音」の発話ＶＯＴ中と有声期間中のパワーを比較することにより，学生の鼻音の発話の問題点を分析した。本研究では中国語話者と日本語話者，それぞれ５名の「無気音」の舌尖音の「前鼻音」と「後鼻音」の発話の対，dan- dang, den- dengを対象にして，有声期間中のパワーを比較することにより，「前鼻音」と「後鼻音」の特徴的パターンを見出した。また，「有気音」の舌尖音の対tan- tangを対象にして，VOT中と有声期間中のパワーを比較することにより，「前鼻音」と「後鼻音」の特徴的パターンを見出した。
今までに開発した中心周波数50Hz～6850Hz，帯域幅200Hzの35チャンネルのフィルターバンクを用いて，ＶＯＴ中と有声期間中の発話のパワーの周波数スペクトル自動測定システムを改良する。「前鼻音」と「後鼻音」の音節に適したフォルマントのF1～F３の測定システムを用いて，CH毎に各発話の有声区間中の平均パワーを自動的に計算し，「前鼻音」と「後鼻音」発話のフォルマント（F1～F３）の解析により一部の発話の特徴を見出した。これらの研究結果を用いて，正確な発話の判定基準の確立を試みた。今後は効果的な自習教材の開発を目指す。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

2021年度は2020年度の研究結果を適用し，舌尖音の「前鼻音」と「後鼻音」のフォルマントの測定システムを改良し，有声期間中の平均パワーを自動的に測定し，有声期間中の特徴パターンを見出した。更に35チャンネルのフィルターバンクを用いた周波数スペクトルの自動測定により，各鼻音の正確な発話のパワーの特性とF1～F3を判定基準とする手法の確立を試みた。
2021年度の研究計画書に記載して実施できなかった作業は以下の通りである。中国語は発音の種類が非常に多いので，スペクトルグラムのパターンも多い。そこで認識率の精度向上のためには様々なデータが必要になる。そのため，多重母音の舌尖音や舌根音などの発話は2020-2021年度に中国や台湾などへ出向き，現地の中国語話者の多重母音の発話の様々なデータを出来るだけ多く収録する予定だったが，新型コロナウイルス感染症の拡大対策のため，現地での中国語話者の発話の収録は実施できなかった。また，比較のために必要な日本在住の中国人の発話と日本語話者の中国語の発話についても日本国内での収録が実施できなかった。

Strategy for Future Research Activity

研究計画書に記載した2021年度の作業のうち新型コロナウイルス感染症の拡大対策のため，実施できなかった作業については2022年度に実施する予定である。発話の認識率の精度向上のため，様々なデータが必要になる。まず，中国や台湾などへ出向き，現地の中国語話者の舌尖音や舌根音など多重母音の発話の様々なデータを収録する予定である。また，比較のために日本在住の中国人の発話と日本語話者の中国語の発話を収録する。収録した中国語話者と日本語話者の中国語の舌尖音の「前鼻音」と「後鼻音」の発話を用いて，それぞれの相対平均パワーを自動測定することにより有声期間中のパワーやフォルマントなどを解析する。さらに今までに開発した35チャンネルのフィルターバンクを用いて，有声期間中の発話のパワーの周波数スペクトル自動測定システムを舌尖音の測定ができるように改良する予定である。それにより正確な発話の判定基準の確立し，効果的な自習教材の開発を目指す。

Causes of Carryover

2022年度は上記（今後の研究の推進方策）のとおり研究を遂行する予定である。2021年度の未使用額が生じたのは， 新型コロナウイルス感染症の拡大対策のため，国内外の学会で研究発表会が中止となり，さらに国内外でのデータ収録予定が，実施できなくなり，出張旅費などの未使用額が生じたためである。2022年度に調整し，発話の収録を実施予定しているが，現在の状況を見るとかなり難しそうで心配している。
また，音声解析ソフトを購入する予定であったが，新型コロナウイルスの影響で2021年度には調達ができなかった。そのため，2021年度分に未使用額が生じた。それも2022年度内に使用する予定である。