| 研究概要 |
本研究の目的は,カメラとコンピュータを用いた,聴覚障害者(発話障害者)側からの手話認識システムの開発である.本システムは発話障害者が所持し,その人が行う手話の映像を胸部に固定したカメラで撮影し,その映像をコンピュータ(ウェアラブル(携帯型)PC)で解析して手話を認識し,言語化して相手に発信するシステムである.そのため従来システムとは異なり,本システムを装着すれば,発話障害者は誰にでも意思を伝達することが可能になる.これにより,発話障害者のQOL (Quality of Life)が格段に向上することが期待できる
本年度の成果は以下のとおりである
(A)カメラ位置の検討
手話行為者が身体に装着するカメラの位置および向きについて実験的に検討し,手話動作が自然な位置・姿勢でできるように,胸中央部で前方斜め下向きにカメラを固定することにした
(B)指文字認識法の開発
手話のうち指文字について認識法の開発を行った.本年度は認識手法の開発に重点を置くため,比較的簡素な背景を仮定し,背景画像からの手部の検出には肌色抽出法を用いた.認識法については,手形状特徴(向き,指の本数等),および局所形状を表現する大局的特徴量であり,かつ照明変化に強いHOG (Histogram of Oriented Gradients)を特徴量として認識を行う手法を開発した.この手法を用いて動きを伴わない41個の指文字の認識実験を行い,6名の指文字行為者に対して平均85.4%の認識率を得た.結果の出力については,現画像フレームを含め直前の30フレームの結果をもとに投票を行い,投票数が最大の認識結果を出力させることとした
|
