2014 Fiscal Year Research-status Report
| Project/Area Number |
25330418
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
山田 光穗 東海大学, 情報通信学部, 教授 (60366086)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
星野 祐子 東海大学, 情報通信学部, 講師 (80435271)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 発話認識 / 発話学習 / 読唇 / 口唇動作 |
|---|
| Outline of Annual Research Achievements |
本研究は、平成２２～２４年度の科研費で開発した口唇動作抽出から母音認識まで自動的に行うことができる装置を発展させ、発話時の口唇動作を可視化し、より正しい発話に導く発話学習支援装置、教師と聴覚障害者のコミュニケーションを補助する読唇補助装置を実現し、広く社会に役立てることをめざす。
本研究提案は３年計画で、1年目はアナウンサーによる標準的な日本語発話に対するライブラリーと、英語講師による英母音の発話学習時に学ぶ基本的な単語について口唇動作ライブラリーを制作した。またタブレット端末を用いて口唇動作を取得し、母音・単語認識ができる装置を開発した。2年目は、学習者が対話的に口唇動作を学習できる発話学習支援装置と、発話者の口唇動作から発話された単語の候補を抽出して表示できる読唇補助装置開発する。
主に山田が担当した発話学習支援装置の研究では、学習者が対話的に口唇動作を習得できる発話トレーニング装置を完成させた。この装置を用いて、日本語では一般学生とアナウンサー、英語では一般学生と英語教師の口唇動作を比較し、発話の違いを明瞭に示すことができた。3年目は日本語については、発話学習効果の評価を行い実用化への課題を明らかにする。英語に関しては、学生を被験者として実際に使用させ、英語講師が評価することにより、実用性を検証する。
主に星野が担当した読唇補助装置の研究では、ユーザーの発話データを効率よく管理し、必要なときに単語や文章を抽出できるように、これまでのCSV形式からSQLiteへの組み込みを行った。また、口唇動作をコミュニケーション補助に用いるには、小型で持ち出しやすい形態にする必要があり、Android端末を用いた口唇部の検出アプリの開発を行った。3年目は、日常生活、授業、会議など様々なシチュエーションでの有効性の検証を行い、実用化するための課題を明らかにする。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
発話学習支援装置と読唇補助装置について、それぞれ達成した成果を述べる。
発話学習装置の研究では、２年目の目標として、学習者が対話的に口唇動作を習得できる発話トレーニング装置を完成させた。この装置を用いて、アナウンサーの発話を模範として、発話学習させる実験を行い、学習回数とともに発話能力が向上することを示した。この装置を用いて、日本語と英語の発話学習を行い、その効果、実用性を検証するのが最終年度である平成27年度の課題であるが、その目標達成に向けて幸先の良い成果が得られている。
読唇補助装置の研究では、既存のパソコン上で動作する口唇動作認識アプリケーションに単一ファイル型リレーショナルデータベースマネージメントシステム(DBMS)であるSQLiteを組み込み、認識処理に使用するデータの入出力を行えるようにした。また、これと並行してAndroid端末による口唇位置を認識するアプリケーションの開発を行った。
研究開発要素が多く読唇補助装置としては完成に至っておらず、引き続き開発を進め、最終年度である平成27年度の課題である様々なシチュエーションでの有効性の検証が行えるようにしていく予定である。
|
| Strategy for Future Research Activity |
3年目は、最終年度であり実際に読唇補助装置と発話訓練装置の効果を検証して、実用化のための課題を明らかにする。
発話学習支援装置は主に山田が担当し、日本語、英語それぞれについて、発話学習実験を行う。研究のポイントは、トレーニング実験を通して発話学習支援装置のヒューマンインターフェース（対話学習の操作性）の向上、学習の継続効果の検証である。評価に関しては、日本語ではプロのアナウンサー、英語では英語教師に評価をお願いし、改善点や実用化への課題を明らかにする。
読唇補助装置は主に星野が担当し、年度前半に装置の完成を目指す。年度後半は完成した装置を用いて、日常生活、授業、会議など様々なシチュエーションでの有効性の検証を行う。検証には本学で学ぶ聴覚障害をもつ学生、日本語を学ぶ外国人留学生の意見を反映させ、実用化への課題を明らかにしたいと考えている。
|
| Causes of Carryover |
物品費、旅費、その他の項目で、予算額に対して、若干の差額が生じた。研究用に生かすには十分な額ではなく、2年目の予算であるため、最終年度に繰り越し、まとまった額として、予算を有効活用することにした。
|
| Expenditure Plan for Carryover Budget |
次年度の平成27年度は、発話学習支援装置と読唇補助装置のソフトウェア開発、それぞれの装置の評価実験の謝礼、情報収集および成果発表を行う出張旅費への支出を予定している。
今年度助成金の差額（B-A)は、この成果を最終年度である３年目の研究成果に生かすとともにより効果的に学会で発表するため、次年度使用額として、口唇画像処理ソフトウェアの開発、成果発表用旅費の拡充に充てる。
|
