| 研究概要 |
本研究課題では,機械読唇を利用した聴覚障害者のコミュニケーション支援を目的として,単音や単語だけでなく会話文をリアルタイムで認識するインタフェースの開発を目指す.本研究2年度の平成22年度は以下のことに取り組んだ.
1)研究実施計画に基づき,文章発話シーンとして5人より新聞記事29文の発話シーンを撮影した.
2)研究実施計画に基づき,文章発話シーンに対して連続DPマッチングを用いたスポッティング認識を適用した.新聞記事29文の中から出現頻度の高い16語を認識対象に設定した.5人の発話シーンに対して実験を行った結果,平均認識率は46%であった.文章発話シーンは単語発話シーンに比べると口の開閉が小さい.そこで認識率が低い原因を解明するため,認識対象16語に対して単語認識を行った.その結果85%の認識率を得た.この結果より,口の開閉でなく,スポッティング認識の手法に問題があることが判明した.
3)2の問題を踏まえ文章認識でなく単語認識を利用したコミュニケーション支援システムの開発を目的とし,リアルタイム単語認識システムの開発に取り組んだ,以前のシステムは顔の下半分の画像を用いていたた,め,利用する際,発話者に負担を強いていた.そこで昨年度の提案した手法を組み込んだ,会話文50文を認識対象とし,1回の施行につき全50文を1回ずつ発話する認識実験を5回試行した.その結果,50文で平均認識率は80.6%,平均処理時間は15.4fps,発話終了後から認識結果を表示する前での平均時間は83.6秒であった.リアルタイム性を確認した.
4)研究成果は学術論文1件,国際会議2件,国内学会3件で発表した.
|
