2015 Fiscal Year Research-status Report
音声からの発話動作可視化技術に基づく発話訓練支援の研究
| Project/Area Number |
15K00487
|
|---|
| Research Institution | Aichi Prefectural University |
|---|
Principal Investigator |
入部 百合絵 愛知県立大学, 情報科学部, 講師 (40397500)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
新田 恒雄 早稲田大学, グリーンコンピューティングシステム機構, 客員上級研究員(研究院客員教授) (70314101)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 発音訓練 / 調音運動 / IPAチャート |
|---|
| Outline of Annual Research Achievements |
学習者の音声から調音動作（調音方法（破裂，摩擦，破擦，鼻音など）および調音位置（口唇，歯茎，口蓋，声門など））を抽出して，語学の発音訓練を支援するシステムを開発する．本研究では，学習者の音声から高精度に調音動作を抽出し，その結果をもとにIPA表のチャート図上にリアルタイムに調音動作をプロットすることで，発音の矯正方法を具体的に指導できるソフトウェアを目指す．
初年度である平成27年度は，調音特徴－矩形図プロットを開発するための基本性能である音声－調音特徴変換アルゴリズムの改良を行った．調音特徴は単音分類に用いられる調音様式と調音位置の諸属性から構成される．音声から調音特徴を抽出することで，学習者の音声から調音動作（調音位置や調音様式）を推定でき，国際音声記号（IPA）の母音チャート（舌の盛り上がる位置や口唇の高さの2軸から構成）や子音チャートへ音声の調音動作を直接プロットすることができる．今年度は，我々が開発してきた多層ニューラルネットワークと直交化処理から構成される調音特徴抽出エンジン（IPAから英語と日本語に関する調音特徴セット28種類）を改良し，日本語の5つの母音に対して約93%の精度で調音特徴を抽出することが可能となった．
また，調音特徴抽出エンジンより得た調音特徴をリアルタイムに母音チャート図上にプロット表示するための基本機能を開発した．具体的には，抽出した調音特徴系列から，母音に関連する特徴量（舌の盛り上がる位置（前－中－後）と口唇の高さ（広－半広－半狭－狭））と取り出し，母音チャート上の横軸（盛り上がる位置），縦軸（唇の高さ）に適した座標値に変換するための計算アルゴリズムを開発した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
調音特徴抽出エンジンの改良を行うことで，目標としていた調音特徴抽出精度90%以上を達成することができた．現在のところ，5つの日本語母音に関しては目標値を達成しているが，学習者が日本語以外の言語の発音を学習しようとする場合，その対象言語の母音に対しても，音声から高精度に調音特徴を抽出する必要がある．日本語母音以外に関して言えば，例えば英語母音11個に対する調音特徴抽出精度は約88%である．特に，英語に関しては，口唇の高さの一つである「狭」の抽出精度が他と比較して低いため，個別の調音特徴抽出改善を行う．日本語に関しては，特に抽出精度が低い調音特徴は見当たらないが，全体的に精度を底上げしていく必要がある．
|
| Strategy for Future Research Activity |
更に調音特徴抽出エンジンを改良することで，英語母音に関連する調音特徴抽出向上を目指す．特に，他と比較して精度の低かった調音特徴の抽出精度を高めていきたい．
また，英語に関して言えば，日本語にはない英語独特の母音を習得するためにtense,round,およびrhoticityの3種の調音特徴についても，精度良く音声から抽出し，学習者に効果的に表示を返す方法を検討していく．
|
| Causes of Carryover |
発話訓練や関連する音声処理研究の情報収集を目的とした学会出張が予定よりも少なかったため．
|
| Expenditure Plan for Carryover Budget |
次年度は研究成果を広く発表していく予定であるため，関連研究の情報収集や研究成果発表を目的とした出張費に利用していく．
|
