2015 Fiscal Year Annual Research Report
| Project/Area Number |
25330418
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
山田 光穗 東海大学, 情報通信学部, 教授 (60366086)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
星野 祐子 東海大学, 情報通信学部, 講師 (80435271)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 学習支援システム / ヒューマンインターフェイス / 発話支援 / 口唇動作 / 発話認識 |
|---|
| Outline of Annual Research Achievements |
本研究は、発話時の口唇動作を可視化し、より正しい発話に導く発話学習支援装置、聴覚障害者とのコミュニケーションを補助する読唇補助装置を実現し、広く社会に役立てることをめざす。
３年計画で実施し、1年目は日本語と英語を対象として口唇動作を取得しデータベース化できるシステムを開発した。次にこの装置を用いて、日本語については放送局アナウンサー、英語についてはネイティブの英語講師により、模範となる発話データベースを作成した。
2年目は、学習者が対話的に口唇動作を学習できる発話学習支援装置を開発した。また、発話者の口唇動作から発話された単語の候補を抽出して表示できる読唇補助装置を実現するために、膨大な辞書データを効率よく更新、保存できるデータベースの開発を行った。
最終年度は、この装置を用いて、日本語と英語の発話トレーニングを行った。日本語ではアナウンサーの発話時の強弱変化が数値化され、練習時にトレーニング者がこれを学ぶことにより、聞き取りやすさや歯切れの良さ（アーティキュレーション）が改善されることを示した。英語についても、トレーニングを重ねることにより、口唇動作履歴が英語講師に近づくことを示した。さらに、音声のスペクトログラムからを用いた客観的評価法を提案し、発話能力が向上し、ネイティブの母音発音に近づくことを示した。読唇補助装置の研究では、これまで単語を特定のジャンルに限定して行ってきたが、ニーズの増加に伴い、データベースの修正、拡充に柔軟に対応するシステムの開発が必要となった。そこで、SQliteをベースとする新たなデータベース管理手法を提案した。これにより、より多くの単語に対応した汎用的な読唇補助装置を実現できる。以上に述べたように、本研究の成果により、日本語や英語の発話トレーニングだけでなく、母音発話能力の向上による読唇や発話認識の向上に役立てることができる。
|
| Remarks |
我々はマルチモーダル認識の1つである口唇動作に注目し、口唇動作による発話認識の手法について研究してきました。しかし口唇動作による認識は個人差により認識率が低下する事があります。そのため、口唇動作を用いた発話者の発話改善を目的としたトレーニング手法の提案・開発を行っています。日本語と英語を対象とした発話トレーニングの成果について紹介します。
|
