2015 Fiscal Year Annual Research Report
一人称視点魚眼カメラを用いたモバイル手話認識システムの開発
| Project/Area Number |
25730138
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
河野 英昭 九州工業大学, 大学院工学研究院, 准教授 (00404096)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 手話認識 / 一人称視点 / 画像特徴量 / 隠れマルコフモデル |
|---|
| Outline of Annual Research Achievements |
ろう者と聴者の円滑なコミュニケーションを実現するために，手話話者がいつでも・どこでも身につけて利用可能なモバイル手話認識システムを開発することを目的とし，研究を行った．開発したシステムは手話話者が身につける魚眼カメラから，手話を読み取り，その動作を認識し，認識結果を出力する．本研究では次の２点について達成目標を設定し，それぞれについて次のような結果を得た．
(1)動的で雑多な背景から手領域を安定的に検出し，画像特徴量として数値化
手話動画中から得た特徴的な手の形状を有する画像をテンプレートとして登録したキーフレームからSIFT特徴量を算出し，対象手話動画とのSIFTマッチングを行うことで高速に手領域候補を検出することに成功した．さらに，マッチング領域候補の肌色検出結果から得られる手形状シルエットを，キーフレームのシルエットと比較することで手領域検出の安定化が実現できることを示した．
(2) 一人称視点固有の画像特徴量の時系列パターンを認識する方法の開発
フレーム毎の手領域検出と手形状の認識がSIFTマッチングにより実現できていることを利用して，手話認識問題を，形状ラベル時系列を認識する問題へと帰着させ，隠れマルコフモデルを用いた手話認識方法を開発した．先行研究で用いられている主要手話単語22語に対して実験を行い，77.3%の認識率を得た．22単語中19単語は良好な認識結果を示したものの，3単語については50%にも満たなかった．原因としては，類似形状の存在，手の位置・動き情報の未考慮があげられることから，これらが今後の課題として位置付けられる．
|
