2013 Fiscal Year Research-status Report
| Project/Area Number |
24720254
|
|---|
| Research Institution | Aichi Prefectural University |
|---|
Principal Investigator |
入部 百合絵 愛知県立大学, 情報科学部, 助教 (40397500)
|
|---|
| Keywords | 発音訓練 / 外国語教育 / 調音運動 / 可視化 |
|---|
| Research Abstract |
本研究では，face-to-face における教師のように学習者の誤った調音の仕方を的確に指導するための手法を提案する．音声からその調音動作に関わる特徴量を抽出し，これを用いて学習者の調音動作をCG アニメーションにより可視化する．加えて，正面の口唇と口蓋断面に対して，学習者の調音動作と正しい調音動作を比較提示することで，どこをどのように強制すれば良いのかを視覚的に分かりやすく示す．このように調音動作を視覚的に直接観察することは教育効果が高いと言われている．以上のことを実現するため，初年度の平成24年度は音声から調音動作の特徴量である調音特徴を精緻に抽出するアルゴリズムを開発し，2年目以降は可視化技術の提案と実装を目標とする．具体的には以下の通りである．
人間は，子音(k, s, b, …)や母音(a, i , ..) を音声器官を制御しながら生成しており，生成に寄与する音声器官の動きを調音動作という．人間の調音動作を正確に可視化するためには，この調音動作の情報を詳細に取得する必要がある．そこで，本研究では調音位置や調音方法を示す属性（半母音，鼻音，無声音，有声音，持続性，破擦性，破裂性，舌端性，後舌母音，前方性，低母音，高母音など）を数値化（連続値）した調音特徴を音声から取得することを試みる．音声から調音特徴へ変換するために，音声スペクトルを多層ニューラルネットワーク（MLN）の識別器に通すことで調音特徴を獲得する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
人間の自然な発話動作を表現するため，実際に人間が発話した様子を撮影したMRI（磁気共鳴画像装置）に基づきアニメーションを生成する．始めに，前述の調音特徴抽出手法に基づき，複数人の発話を撮影したMRI データに含まれる音声を調音特徴に変換する．そして，MRI 画像に映し出されている各調音器官の輪郭に沿って特徴点（座標ベクトル）を検出する．次に，調音特徴を入力とした識別器に先の特徴点を教師信号として与えることを，大量のMRIデータに対して行う．これにより構築された識別器へ学習者の音声から抽出した調音特徴を通すことで，その調音動作に適した特徴点を獲得する．アニメーションはこの特徴点をもとに自動生成される．人間が発話した様子を撮像したMRI データと，提案手法により音声から生成されたアニメーションの相関係数は全音素に対して平均0.8 であった．
このため，2年目に予定した調音動作の可視化技術の提案と実装という目標を概ね達成できたと考えている．
|
| Strategy for Future Research Activity |
今後は，調音動作可視化技術をもとに，学習者の音声と教師の音声から調音動作のアニメーションを自動生成する．そして，生成過程で抽出した調音特徴と特徴点を解析することで，調音器官毎に異なる動作，位置を検出し該当箇所をハイライト（強調的に表示）する．また，矯正箇所を示すコメント文（例えば，「少し顎を引いて口を大きく開けて下さい」）を自動的に生成し提示するシステムを開発する．
また，実際の教育現場において開発したシステムの実証実験を実施する．また，研究の総括として，国内外での学会発表を積極的に行う．
|
| Expenditure Plans for the Next FY Research Funding |
予定していた調音運動抽出アルゴリズムのためのMRIデータ撮像回数が減り，撮像費および打合せ費が減額となったため．また，アルゴリズムおよび可視化技術の開発のための計算機を予定していたよりも安く購入することができたため．
最終年度の平成26年度は調音動作アニメーションの改良を行うため，人間の調音器官の運動を測定する必要がある．そのため，発話運動測定装置のレンタル代，データ収集のための打ち合わせ旅費，および被験者への謝金が発生する．また，調音動作アニメーションの生成および実験用にPCを購入する．初年度および2年度の研究成果を発表するために国内および国外の旅費が必要であり，海外発表のための論文に対する校閲代も発生する．
|
Research Products
(3 results)
