聴覚障害者の主なコミュニケーション手段である手話は、手指動作だけでなく、口唇の動きや顔の表情などの非手指動作を同時に利用する。画像処理技術を利用した手話認識は、非接触センサであるカメラを利用するため実用化が期待されている。しかし従来研究の多くは手指動作のみしか考慮されていない。本研究では手指動作を用いた手話認識だけでなく、読唇技術と表情認識技術についても検討した。研究をスムーズに進めるためにモーションセンサを用いたデータベースについても検討した。さらに手話観察時における注視点を解析することで、顔周辺、手指周辺あるいはその他のどこを注視しているか解析した。
|