| 研究概要 |
本研究課題では,機械読唇を利用した聴覚障害者のコミュニケーション支援を目的として,単音や単語だけでなく会話文をリアルタイムで認識するインタフェースの開発を目指す.本研究課題の最終年度である平成23年度は主にプロトタイプシステム開発とその評価実験に取り組んだ.
これまでの研究成果をもとにリアルタイム性のある読唇アルゴリズムを実装した.また単にリアルタイムで認識するだけでなく,コミュニケーション支援を意識したプロトタイプシステムを開発した.具体的には,発話区間の自動検出機能,目標文入力のための誤認識文の退避機能,メッセージを一文ずつ伝達するだけでなく複数の単語を組み合わせたメッセージを伝える2種の伝達機能,光源環境の影響を軽減するためのカメラ制御機能,である。
プロトタイプシステムは,カメラとPC,コントローラから構成される.本システムは事前に登録した定型文をリアルタイムで認識し,認識結果を音声メッセージとして出力する.本システムは登録モードと認識モードの二つの換作モードをもつ.登録モードはユーザが事前に定型文を登録する場合に利用する.認識モードはユーザが話者とコミュニケーションする際に利用する.
日本語会話文50文を認識対象として,被験者4名の協力のもと実験を実施した,各被験者は登録モードを利用して各発話内容においてそれぞれ10サンプル登録した.登録作業後,50文の認識実験を1セットと定義し,全ての被験者に9～12セット実験を実施した.実験実施期間は長い期間をかけて有効性を評価するため37～53日であった.その結果,平均認識率94%,発話終了後からメッセージが出力されるまで約2秒であった.また処理速度は22.3fpsでありリアルタイム性を実現した.発話登録後から5週間以上経過してからも十分な認識率を得られており,実用性の高いシステムであることを確認できた.
研究成果は学術論文1件,国際会議2件,国内学会3件で発表した.
|
