2014 Fiscal Year Annual Research Report
音声からの調音運動抽出に基づく発音マップ・調音動作アニメ表示法と発音矯正への適用
| Project/Area Number |
25280128
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
新田 恒雄 早稲田大学, グリーンコンピューティングシステム研究機構, 教授 (70314101)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
林 良子 神戸大学, その他の研究科, 教授 (20347785)
入部 百合絵 愛知県立大学, 情報科学部, 助教 (40397500)
河合 剛 北海道大学, その他の研究科, 准教授 (70312981)
桂田 浩一 豊橋技術科学大学, 学内共同利用施設等, 准教授 (80324490)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 発音学習 / 調音特徴抽出 / 発音マップ / 調音ジェスチャ / HTML5 |
|---|
| Outline of Annual Research Achievements |
H26 年度は，分担者全員が参加しシステム仕様を検討すると共に，将来の学習環境を考慮しHTML5 をベースとするシステムを開発した。
(1) 音声-調音特徴変換エンジン: TIMIT コーパスを使用し，これまでの多層パーセプトロン (MLP) に代わる音声-音素 (-調音特徴)変換アルゴリズムを検討し，性能向上の目処を得た。これまでの方式は，MLPが入力スペクトルのベクトル系列を音素/ 調音特徴のベクトル系列へと変換していた (DNN(deep neural network)/ HMM (hidden Markov model) 方式)。MLPを用いない新しい数理モデルでは，同じ機能を双対空間(汎関数)とテンソル空間(多重線形写像)を利用して実現する(HSM (higher-order subspace method) / HMM (hidden Markov model) 方式)。今後，計算量低減と共に，後段に音素-調音特徴変換を加えて発音学習システムへの実装を行う。
(2) 発音マップサブシステム，調音アニメ生成サブシステム: H25 に開発した調音特徴抽出器の出力に対して，二つのサブシステムをHTML5 を用いて開発した。また，MRI画像を追加収録すると共に，画像から特徴点（x,y座標）を抽出した。MRIデータ使用許諾・版権等の扱いについても検討した。
(3) 発音学習アプリの開発: 発音マップと調音ジェスチャを利用して発音を矯正するHTML5ベースの発音学習システムを開発した。発音マップでは，単語中の間違い易い音素を中心に調音の違い(口唇の開け方や舌の位置(r とl) など)を表示する。また調音ジェスチャでは，教師と学習者の調音を同時に表示し，調音部位の誤りをハイライトして指摘する。今後，発音授業の中でシステム性能と矯正効果を測定する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
- 調音特徴抽出にMLPを使用しない，アルゴリズム改良への見通しが良い方式を開発した。
- 将来のスマートフォン利用を念頭に，発音マップサブシステム，調音アニメ生成サブシステム，発音学習システムをHTML5ベースで開発することができた。
- MRI撮像に関して，不足していた単語発音を追加し，動画データベースを充実させることができた。
- 発音学習システムの仕様に関して，分担者間の意見を集約して開発を進めることができた。
|
| Strategy for Future Research Activity |
H26年度までの研究成果をもとに，発音学習システムを実装・改良して教育現場での評価を行う。具体的には，以下の研究を重点的に進める。
(1) DNN/ HMM に基づく調音特徴抽出器に代えて，テンソル積を導入した高次部分空間法に基づく高精度調音特徴抽出器を実装する。
(2) (1)を母音/ 子音に対する発音マップに実装し，マップ上の座標に高い精度で写像できることを確認すると共に，直感的で分かり易いユーザインタフェースに向けた評価・改良を行う。
(3) これまで収集した英語発音のMRI画像をもとに，調音アニメの精度向上を確認し，ユーザインタフェースを含む評価と改良を行う。
(4) (1)-(3) を統合した発音学習システムの教育効果を大学の英語教育の中で確認する。
|
| Causes of Carryover |
発音学習システムの設計変更に伴い，年度中の支出が少なくなった。
|
| Expenditure Plan for Carryover Budget |
次年度に学習システムを改良する計画があり，当核研究費はこの改良費用に組み入れる。
|
Research Products
(18 results)
