2022 Fiscal Year Research-status Report
Development of pronunciation training system for Chinese triphthong using information technology
| Project/Area Number |
19K03074
|
|---|
| Research Institution | National Institute of Technology, Toyama College |
|---|
Principal Investigator |
星野 朱美 富山高等専門学校, その他部局等, 教授 (90300566)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 中国語 / 前鼻音 / 後鼻音 / 有声期間中のパワーの特徴 / フォルマントの測定 / フォルマントの特徴 |
|---|
| Outline of Annual Research Achievements |
中国語を学習する人の殆どは，中国語の「前鼻音」と「後鼻音」の発話も聞き分けも困難に感じている。帰宅後の自習では自分の発話の正確な評価手段もない。そのため，本研究ではIT技術を用いた中国語発音教育のCAD指導システムの開発を目指している。
学術研究助成金の計画書の通り，本来は2020～2021年度に中国において現地の中国語話者の多重母音の音節の発話の様々なパターンを収録する予定だったが，コロナ感染症の影響で今年度も中国へは行けず，2022年11月25日に東京大学大学院電子知能情報学講座の峯松信明教授の研究室に於いて，12名の中国人留学生と台湾人留学生の中国語の発音を収録した。
今年度は舌尖音の「前鼻音」と「後鼻音」の自動判別を目的として，収録した一部の中国語話者の発話と日本語話者の発話のスペクトログラムを解析し，中国語話者と日本語話者の発話の有声期間中のパワーを比較することにより，学生の鼻音の発話の問題点を洗い出した。さらに中国語話者と日本語話者の「前鼻音」と「後鼻音」の発話の対，dan-dang, den- dengとtan-tangを対象にして，有声期間中のパワーを比較し，「前鼻音」と「後鼻音」の特徴的パターンを見出した。
更に今までに開発した中心周波数50Hz～6850Hz，帯域幅200Hzの35CHのフィルターバンクを用いて，VOT中と有声期間中の発話のパワーの周波数スペクトル自動測定システムを改良し，有声期間中の発話のパワーの特徴を「前鼻音」と「後鼻音」の音節に適したフォルマントの測定システムを用いて，チャンネル（CH）毎に各発話の有声区間中の平均パワーを自動的に計算し，「前鼻音」と「後鼻音」発話のフォルマント（F1～F３）を抽出した。更にそれぞれ発話の解析により発話のフォルマントの特徴を見出した。これらの研究結果を用いて，正確な発話の判定基準の確立を試み，効果的な自習教材の開発を目指す。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2022年度の研究計画書に記載して実施できなかった作業は以下の通りである。中国語は発音の種類が非常に多いので，スペクトルグラムのパターンも多い。そこで認識率の精度向上のためには様々なデータが必要になる。そのため，多重母音の発話は2020-2022年度に中国や台湾などへ出向き，現地の中国語話者の多重母音の発話の様々なデータを出来るだけ多く収録する予定だったが，新型コロナウイルス感染症の拡大対策のため，現地での中国語話者の発話の収録は実施できなかったが，東京大学電子知能情報学講座の峯松信明教授とその研究室の12名の中国人留学生と台湾人留学生のご協力で，一部の中国語話者の中国語の発音（ピンイン）を収録することができた。
2022年度は2021年度の研究結果を適用し，収録した発話を用い，中国語話者と日本語話者の舌尖音の「前鼻音」と「後鼻音」の発話の有声期間中のパワーを比較することにより，学生の鼻音の発話の問題点を分析した。さらにパワーの自動測定システムを改良し，舌尖音の「前鼻音」と「後鼻音」の有声期間中の平均パワーを自動的に測定し，有声期間中のパワーの特徴パターンを見出した。
更に舌尖音の「前鼻音」と「後鼻音」のフォルマントの測定システムを改良し， 35チャンネルのフィルターバンクを用いた周波数スペクトルの自動測定により，F1からF3まで抽出し，各鼻音の正確な発話のパワーの特性とF1～F3のパワーを判定基準とする手法の確立を試みた。
それらの結果は，2022年9月14日～16日まで北海道科学大学で開催された「日本音響学会2022年秋季研究発表会」で「中国語舌尖音の鼻音の特徴と発話の正確さの関係」というテーマで研究発表を行った。
|
| Strategy for Future Research Activity |
研究計画書に記載した2022年度の作業のうち新型コロナウイルス感染症の拡大対策のため，実施できなかった作業については2023年度に実施する予定である。発話の認識率の精度向上のため，様々なデータが必要になる。まず，中国や台湾などへ出向き，現地の中国語話者の多重母音の発話の様々なデータを収録する予定である。また，比較のために日本在住の中国人の発話と日本語話者の中国語の発話を収録する。収録した中国語話者と日本語話者の中国語の「前鼻音」と「後鼻音」の発話を用いて，それぞれの相対平均パワーを自動測定することにより有声期間中のパワーやフォルマントなどを解析する。さらに今までに開発した35チャンネルのフィルターバンクを用いて，有声期間中の発話のパワーの周波数スペクトル自動測定システムで測定ができるように改良する予定である。それにより正確な発話の判定基準の確立し，効果的な自習教材の開発を目指す。
それらの結果を国内外の学会で発表する予定である。
|
| Causes of Carryover |
2023年度は上記（今後の研究の推進方策）のとおり研究を遂行する予定である。発話の認識率の精度向上のため，様々なデータが必要になる。2022年度に中国や台湾などへ出向き，現地の中国語話者の多重母音の発話の様々なデータを収録する予定だったが，コロナ感染症の影響で発話の収録へ行けず，2023年度に調整し直し，発話の収録の実施を予定している。また，比較のために日本在住の中国人の発話と日本語話者の中国語の発話を収録する。
新たな発話データを解析することにより対象データとその特徴を表すパターンを増やし，高精度な発音識別システムの開発を目指す。今までの成果を 2023年度中に国際学会で発表する予定である。更に，国際学会に参加して得られる国際的な研究動向を本研究に適用し，より良いシステムの開発への道筋を確立する。
|
