2013 Fiscal Year Annual Research Report
音声からの調音運動抽出に基づく発音マップ・調音動作アニメ表示法と発音矯正への適用
| Project/Area Number |
25280128
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Research Institution | Waseda University |
|---|
Principal Investigator |
新田 恒雄 早稲田大学, グリーンコンピューティングシステム研究機構, 教授 (70314101)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河合 剛 北海道大学, その他の研究科, 准教授 (70312981)
入部 百合絵 愛知県立大学, 情報科学部, 助教 (40397500)
林 良子 神戸大学, その他の研究科, 准教授 (20347785)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 発音学習 / 調音特徴抽出 / 発音マップ / 調音ジェスチャ |
|---|
| Research Abstract |
H25年度は，発音学習システム基本性能の向上に注力すると共に，システムの設計と評価方法等を検討した。
(1) 音声-調音特徴変換エンジン: 調音特徴28種（破裂音，摩擦音，… 等の調音様式と，口唇，歯茎，…等の調音部位からなる）を高精度に抽出する方式を検討した。特に，子供から大人・男女といった話者の違いに起因する性能劣化に対処する「話者正準化」方式のシミュレーションを行い，これまでのVTLN(声道長正規化法)/HMM (標準的HMM方式から + 2% 向上)と比較し，一段高い音声認識性能を得た(同 +4% 向上)。これにより，話者に依存しない調音特徴抽出のfront-endを確立できた。また，調音特徴抽出は2段のMLP(Multi-Layer Perceptron)と直交化処理(Gram-Schmidt Orthogonalization)で構成しているが，一層の性能向上を図るため，テンソル解析を含む方式を検討した。
(2) 発音マップサブシステム，調音アニメ生成サブシステム
基幹部である調音－座標変換器を開発し，各サブシステムに組み込んだ。これより，発音マップへプロットするための座標値およびアニメ生成のための顔輪郭線の座標値を取得することができ，各サブシステムのユーザインタフェース上に動的に描画できるようになった。また，調音運動の動画資料収集のため，2度に亘り40単語程度のMRI撮像を行なった。これにより，不足していた動画資料の補てんができ，同時に新たな被験者の資料を収集することができた。
(3) 発音学習システムの機能仕様
市販英語発音学習ソフトウエアの機能と性能を調べると共に，第二言語としての英語発音教授法に関する調査を行った。また，発音学習の中のイントネーション矯正に関して，大学新入生2,600名を対象にオンラインの自主学習教材とその改良を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
- 調音特徴抽出アルゴリズムの改良を行い，精度向上に目処が得られた。
- 発音マップサブシステムおよび調音アニメ生成サブシステム共に精度を向上することができ，各サブシステムのユーザインタフェース上に動的に描画できるようになった。
- MRI撮像を順調に進めることができ，発音の動画データベースを充実させることができた。
- 発音学習システムの基本仕様の調査と設計・評価方法を検討することができた。
|
| Strategy for Future Research Activity |
初年度の研究成果を基に評価システムを実装すると共に，教育現場での評価と連携し，システム改良を進める。
(1)音声-調音特徴変換エンジン: 音声を調音特徴に変換する精度底上げ(85%以上)を目標に，アルゴリズム(話者正準化，固有ベクトル双対変換，DNNなど) のシミュレーションと実装を行う。
(2)発音マップサブシステム: 教育現場に導入可能な実用レベルのプロット精度を目指し，調音特徴を発音マップ上に精度よく変換する，座標変換器の改良を進める。また実地評価での意見を吸い上げ，直感的で分かり易いユーザインタフェース（UI）を設計する。
(3)調音アニメ生成サブシステム: 音素バランスの良いMRI画像を収集し，調音アニメの精度を向上する（MRI原画像との相関で0.8以上）。また調音で重要な箇所をハイライトする等のUI改良，他言語への応用検討を行う。
(4)発音学習システムと教育効果の検証: 音声－調音特徴変換エンジン，発音マップサブシステム，調音アニメ生成サブシステムを統合し，学習教材や学習履歴機能を組み込んだ発音学習システムを開発する。
|
| Expenditure Plans for the Next FY Research Funding |
H26期初に支払がある経費のために，少額(57,095円)を次年度に残した。
H26期初に，PC周辺部品ほかの支払に，5万円程度を充てる。
|
Research Products
(18 results)
