2017 Fiscal Year Research-status Report
音声からの発話動作可視化技術に基づく発話訓練支援の研究
| Project/Area Number |
15K00487
|
|---|
| Research Institution | Aichi Prefectural University |
|---|
Principal Investigator |
入部 百合絵 愛知県立大学, 情報科学部, 准教授 (40397500)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
新田 恒雄 早稲田大学, グリーン・コンピューティング・システム研究機構, その他(招聘研究員) (70314101)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 発音訓練 / 調音特徴 / リンキング |
|---|
| Outline of Annual Research Achievements |
本研究は，発音動作の何処が具体的に誤っており，どうすれば矯正できるのかを発音学習者が容易に理解することのできるように，音声情報から調音動作を推定し，調音動作を可視化することを目標としている．そのため，学習者の音声から調音動作（調音様式（破裂音，摩擦音，破擦音，鼻音，半母音など）と調音部位（口唇，歯茎，口蓋，咽喉などの位置（子音の場合）や，舌の最も盛り上がる位置と口の開閉度（母音））の諸属性）を抽出するためのアルゴリズムを開発し，その調音動作のデータを母音チャート図（矩形型，横軸：舌の盛り上がる位置，縦軸：口の開閉）および子音チャート図（横軸：調音様式，縦軸：調音部位）にリアルタイムにプロットする技術の開発を目指している．
一方で，単語や文中の発音誤りを検出したい場合は，単語・文を音素単位でグラフ表現したネットワークに通して誤りを検出する．英語は単語結合時に音変化（リンキング）が発生するため，平成29年度はネットワーク文法上に音変化を含んだ音素列を適切に表現することで，リンキングにも対応した音素認識を開発した．平成29年度の前半に英語の発音時に発生する音素連結・脱落・同化パターン（100種類以上）の調査と分析を行った．次にそのパターンをネットワーク文法に記述する作業を実施した．特に，初年度および平成28年度に開発した調音特徴抽出アルゴリズムを通してリンキングを捉えた調音特徴列を用いることで，音変化にも対応したチャート上へのプロットが可能となる．これにより，日本人が不得手とするリンキングの発音訓練も可能となり，正しいリンキングの習得を期待できる．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究は単音だけではなく単語や文も発音対象とする．特に，言語特有の発音を身に付けるために極めて重要なリンキング（単語結合時の音の変化，例えば，Did you のd とyou の連結による変化）に対しても，連結に伴って音変化した箇所に適切にプロットできるようにすることを平成29年度の目標としていたが，リンキングに対応した音素認識の開発に留まり，リンキングに対応したチャート図へのプロットまでは進むことができなかった．ただし，リンキング箇所の調音特徴抽出はできているため，平成28年度までに実装したチャート図へそれらの情報をプロットすることを次年度に計画している．
|
| Strategy for Future Research Activity |
初年度に開発した音声－調音特徴変換器をもとに，平成28年度にプロトタイプを実装したチャートへのプロット変換器を発音学習システムに統合する．また，平成29年度に開発したリンキングに対応した音素認識器も組み込む．これによって，学習者の発音の診断（音素認識），誤った箇所を矯正するチャート図を利用できる発音学習システムを開発する．また，学習教材や学習履歴機能を組み込むことも目標とする．システムはHTML5とJavascriptを用いたWeb ベースでのシステムを実装する予定である．
|
| Causes of Carryover |
予定していた国際会議での発表を国内発表に切り替えたため旅費が少なく済んだ．また，開発した発音訓練システムの評価用にノートPCの購入を予定していたが，発音訓練システムの開発がまだ完了していないため，平成30年度に購入することにする．
従って，平成30年度は国際会議での発表やノートPCなどの購入を計画している．
|
