| 研究実績の概要 |
本研究では，face-to-face における教師のように学習者の誤った調音の仕方を的確に指導する．そのため，音声からその調音特徴を抽出し，学習者の調音動作をCG アニメーションにより可視化する．このように調音動作を視覚的に直接観察することは教育効果が高いと言われている．人間は，子音(k, s, b, …)や母音(a, i , ..) を音声器官を制御しながら生成しており，生成に寄与する音声器官の動きを調音動作という．人間の調音動作を正確に可視化するためには，この調音動作の情報を詳細に取得する必要がある．そこで，本研究では調音位置や調音方法を示す属性（半母音，鼻音，破擦性，破裂性，後舌音，前方性，低母音，高母音など）を数値化（連続値）した調音特徴を音声から取得することを試みる．音声から調音特徴へ変換するために，音声スペクトルを多層ニューラルネットワーク（MLN）の識別器に通すことで調音特徴を獲得する．最終年度では，人間の自然な発話動作を表現するため，実際に人間が発話した様子を撮影したMRI（磁気共鳴画像装置）に基づき調音動作をアニメーション化した．前述の調音特徴抽出手法に基づき，MRI 画像に映し出されている各調音器官の輪郭に沿って特徴点（座標ベクトル）を教師データとするMLNを構築する．このMLNに学習者の入力音声を通すことで，調音動作の座標値を取得し，それに基づき調音アニメーションが動的に生成される．評価実験を行った結果，提案手法により音声から生成されたアニメーションとMRI データの間の相関係数は全音素に対して平均0.8 であった．また，前記手法により学習者と教師の音声から調音動作のアニメーションを自動生成し，調音器官毎に異なる動作，位置を検出し該当箇所をハイライト（強調的に表示）する調音アニメーションシステムを構築した．
|
