2013 Fiscal Year Research-status Report
| Project/Area Number |
25330418
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Tokai University |
|---|
Principal Investigator |
山田 光穗 東海大学, 情報通信学部, 教授 (60366086)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
星野 祐子 東海大学, 情報通信学部, 講師 (80435271)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 口唇動作解析 / 読唇 / 発話学習 / 母音認識 / ヒューマンインタフェース |
|---|
| Research Abstract |
口唇動作の抽出から母音の認識まで自動的に行うことができる装置の開発を平成２２～２４年度の科研費により行った。本研究では、この成果を発展させ、外国語学習者、聴覚障害者の口唇動作を可視化し、より正しい発話に導く発話学習支援装置、騒音下や声を発することができない環境下だけでなく、教師と聴覚障害者のコミュニケーションを補助する読唇補助装置を実現し、広く社会に役立てることをめざす。
本研究提案は３年計画で、1年目はアナウンサーによる発話時の口唇データを取得し、標準的な日本語発話に対するライブラリーと、初学者が英母音の発話学習時に学ぶ基本的な単語について、英語講師による口唇動作のライブラリーを制作する。またタブレット端末を用いて口唇動作を取得し、母音・単語認識ができる装置を開発する。
主に山田が担当した発話学習支援装置の研究では、日本語・英語双方に対して日常よく使用する単語を中心に、標準的な口唇動作のライブラリーを制作した。日本語に対しては、現役アナウンサーに依頼して、日本語の発話練習用の書籍から引用した文章に対する口唇動作をデータベース化した。英語については、本学の英語講師に依頼し、テレビ英語講座のテキストから引用した文章を用いて、母国語の正確な発音を意識して発話した際の口唇動作をデータベース化した。2年目の研究目的は、学習者が対話的に口唇動作を習得できるようにすることであるが、これらのデータは学習者との比較用に用いる。
さらに主に星野が担当して、タブレット端末による母音・単語認識装置の開発を行った。すでに我々はパーソナルコンピュータを使用した同装置を実用化しているが、コミュニケーション補助に用いるには、小型で持ち出しやすい形態にすることは必須で有り、そのためタブレット端末で動作するシステムとして実現した。今回開発した装置は2年目の研究目的である読唇補助装置の開発に用いる予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
発話学習支援装置とタブレット端末による口唇動作解析システムについて、それぞれ達成した成果を述べる。
発話学習装置の研究では、1年目の目標として、標準的な日本語発話にするアナウンサーによるライブラリーと、初学者が英母音の発話学習時に学ぶ基本的な単語について、英語講師による口唇動作のライブラリーを制作した。
日本語の発話ではアナウンサーの養成に用いられている文章を用いて、現役アナウンサーによる口唇動作データを取得した。英語の発話では、テレビ講座のテキストに取り上げられた日本人に発話の難しい母音や子音を含む単語と文章を用いて、ネイティブ英語教師の口唇動作データを取得した。これらの発話について、それぞれの言語ごとに単語やフレーズごとに切り出して、平成２５年度の目標であるデータベース化を行いその目標を達成した。さらに予備実験として学習者発話時の口唇動作との比較を行い、すでにアナウンサー特有の緩急をつけたメリハリのある口唇動作や、英語教師が発話前に予備動作を行う口唇の動きが抽出されており、平成２６年度の目標達成に向けて幸先の良い成果が得られている。
次にタブレット端末による口唇動作解析システムの研究について成果を述べる。前回の科研費で開発した口唇動作認識アプリケーションに用いたツールと、タブレット端末の開発に適用できるツールでは、バージョンが異なり、そのままでは動作しない。そのため、Visual Studio 2013 professionalへのバージョン変更、それにともなう使用関数や引数などのプログラム変更を行い、タブレット端末上で動作するようにした。その結果、母音・単語認識装置をタブレット端末上で動作させることができ、小型で持ち出しやすい形態にするという平成２５年度の目標を達成することができた。平成２６年度の目標である読唇補助装置の開発に向け、引き続き開発を行っている。
|
| Strategy for Future Research Activity |
2年目は、実際に読唇補助装置と発話訓練装置を開発する。
発話学習支援装置は主に山田が担当し、日本語、英語それぞれについて、学習者の発話時の口唇動作を取得して、1年目に取得した手本となるライブラリーの口唇動作と比較して、学習者が対話的に口唇動作を習得できるようにする。具体的には、発話者と手本となる発話者データの口唇動作履歴、口唇動作履歴のパワースペクトルを比較し、手本との一致度の比較、口唇動作の修正点の指示が行える装置を開発する。さらに実際に本学の学生等に学習を行わせ、その効果を検証しながら、発話学習支援装置の完成度を高めて行く予定である。３年目の来年度は最終年度であり、発話学習の効果についてプロのアナウンサーにその評価をお願いし、実用化への課題を明らかにする。同様に英語に関しても、学生を被験者として実際に使用させ、英語講師が評価することにより、実用性を検証する。
読唇補助装置は主に星野が担当し、1年目に開発したタブレット端末による母音・単語認識装置と、１年目に取得したライブラリーを用いて、発話者の口唇動作から発話された単語の候補を抽出して表示できる装置を開発する。具体的には、記録された発話データと事前に作成したライブラリーの単語辞書データをマッチングさせ、認識できる単語の一覧をタブレット型端末上に表示させる機能の開発を目指す。また、タブレット型端末の特性を生かし、記録したデータを別マシンへアップロードして蓄積し、履歴として利用するなど、認識精度の向上につながるような手法の開発も合わせて目指したい。３年目の来年度は最終年度であり、日常生活、授業、会議など様々なシチュエーションでの有効性の検証を行う。検証には本学で学ぶ聴覚障害をもつ学生や日本語を学ぶ学生の意見を反映させ、実用化への課題を明らかにしたいと考えている。
|
| Expenditure Plans for the Next FY Research Funding |
物品費、旅費、その他の項目で、予算額に対して、若干の差額が生じた。研究用に生かすには十分な額ではなく、初年度の予算であるため、次年度に繰り越し、まとまった額として、予算を有効活用することにした。
次年度の平成26年度は、発話学習支援装置と読唇補助装置のソフトウェア開発、それぞれの装置の評価実験の謝礼、情報収集および成果発表を行う出張旅費への支出を予定している。
１年目に予定通りの研究成果が得られた。 今年度助成金の差額（B-A)は、この成果を２年目の研究成果に生かすとともにより多くの学会で発表するため、次年度使用額として、口唇画像処理ソフトウェアの開発、成果発表用旅費の拡充に充てる。
|
Research Products
(2 results)
