2016 Fiscal Year Research-status Report
音声からの発話動作可視化技術に基づく発話訓練支援の研究
| Project/Area Number |
15K00487
|
|---|
| Research Institution | Aichi Prefectural University |
|---|
Principal Investigator |
入部 百合絵 愛知県立大学, 情報科学部, 講師 (40397500)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
新田 恒雄 早稲田大学, グリーン・コンピューティング・システム研究機構, 客員上級研究員(研究院客員教授) (70314101)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 発音訓練 / 調音運動 |
|---|
| Outline of Annual Research Achievements |
学習者の音声から調音動作（調音様式（破裂音，摩擦音，破擦音，鼻音，半母音など）と調音部位（口唇，歯茎，口蓋，咽喉などの位置(子音の場合)や，舌の最も盛り上る位置と口の開閉度(母音)）の諸属性）を抽出するためのアルゴリズムを開発し，その調音動作のデータを母音チャート図（矩形型，横軸：舌の盛り上がり位置，縦軸：口の開閉）および子音チャート図（横軸：調音様式，縦軸：調音部位）にリアルタイムにプロットする技術の開発を目指している．
平成28年度は初年度に開発した音声－調音特徴（調音動作の諸属性の値）変換器を用いて母音チャート図へのプロット精度を向上させた．特に，母音チャートの横軸である舌の盛り上がり位置のプロット精度が不十分であり，後舌である母音/u/が中央辺り（中舌寄り）にプロットされる現象が起きていた．音声－調音特徴変換器において後舌に関する調音特徴抽出精度を高めるとともに，後舌に関わる調音特徴系列データを座標に変換するアルゴリズムの改良を実施した．また，母音チャートプロット機能を拡張することで，子音に関する調音特徴系列をx,y座標に変換する機能を開発した．学習対象である子音が有する調音特徴系列（例えば，/b/であれば破裂音，両唇音）を音声から抽出し，子音チャートの軸に沿うように座標に変換する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成28年度は音声－調音特徴変換器の改善と母音・子音チャートへのプロット機能の開発を計画していたが，変換器およびプロット機能共に精度の改善が見られた．特に，母音チャートに関して，日本語母音は/u/を除いて全体的に約15%の精度向上が確認された．また，昨年度に加えて，子音チャートへのプロット機能を新たに開発することができた．日本語母音/u/や英語母音の/u/に近い2つの母音に関しても，調音特徴抽出器および座標変換器を改良することで，約25%の座標精度の改善がなされた．ただし，一部の英語母音（特殊文字のため省略するが/a/に近い音素）に関して言えば，調音特徴抽出精度は92%であるが，座標変換によるプロット精度が他の音素の2倍以上も精度が低いため座標変換アルゴリズムの改善が必要である．
|
| Strategy for Future Research Activity |
英語は単語結合時に音変化（リンキング）が発生するため，ネットワーク文法上に音変化を含んだ音素列を適切に表現することで，リンキングにも対応した音素認識と調音特徴抽出を目指す．また，平成29年度が研究の最終年度のため，教育現場に導入可能な実用レベルのプロット精度を目指し，調音特徴を母音・子音チャート上に精度よく変換する座標変換器の改良を進める．また，母音・子音チャートを改良することで，より直感的で分かり易いユーザインタフェースを目指す．加えて，音声－調音特徴変換器およびチャートへのプロット変換器を統合し，学習教材や学習履歴機能を組み込んだ発音学習システムを開発する．システムはHTML5とJavascriptを用いたWebベースでのシステムを実装し，実用化に耐えうる頑健なシステム開発を目指す．
|
| Causes of Carryover |
本テーマに関連する学会出張は概ね予定通りであったが，プログラムの開発や音声データ処理用のPCが予定よりも安く済んだため．
|
| Expenditure Plan for Carryover Budget |
本年度と同様に研究成果を広く発表していく予定である．また，調音特徴抽出器やチャート座標変換器の精度向上のためには学習用と評価用の音声データを更に増やす必要がある．そのため，音声コーパスを購入する予定である．また開発した発音訓練ソフトの評価用にノートPCを購入する予定である．
|
