2014 Fiscal Year Research-status Report
一人称視点魚眼カメラを用いたモバイル手話認識システムの開発
| Project/Area Number |
25730138
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
河野 英昭 九州工業大学, 工学(系)研究科(研究院), 准教授 (00404096)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 手話認識 / 一人称視点 / 画像特徴量 / 画像追跡 |
|---|
| Outline of Annual Research Achievements |
ろう者と聴者の円滑なコミュニケーションを実現するために，手話話者がいつでも・どこでも身につけて利用可能なモバイル手話認識システムを開発することを目的として，SIFT特徴量を用いた手形状判別による一人称視点手話認識の検討を行った．本研究では，カメラを手話話者の胸の位置に装着し，手話動作を撮影する．撮影される映像は，手話話者側の視点から見る話者視点映像となる．認識手法は，Auephanwiriyakulらの先行手法を基本とする．この手法では正面映像に対してSIFTを用いて手話動作のマッチングを行っている．そのため計算コストが低く，ウェアラブルシステムに適している．しかし話者視点映像に対して適応した場合，認識精度が低くなるといった結果を示した．そこで提案手法では処理に変更を加える．提案手法の処理手順は以下のとおりである．(1)手話動画をカメラで撮影する．(2)撮影した動画を14フレームに間引く．(3)各フレームと手の形のテンプレートでSIFTマッチングを行う．(4)得られた各キーポイントにおける手のシルエットの重なりの度合いを求める．(5)重なりの度合いに基づいて各フレームにラベルを割り当てる．(6)得られたラベル列をHMMで学習・認識する．
手話単語の認識実験を行い，本システムの認識精度を確認した結果，22単語中19単語の認識は良好な結果を示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り，PCベースでの一人称視点手話画像取得環境の構築および手話映像データ収集を行い，一人称視点手話認識手法のプロトタイプの開発、および少数サンプルによる評価実験を実施しており，おおむね当初の計画を実施している．
|
| Strategy for Future Research Activity |
下記の手順で研究を推進していく予定である．
（１）左手手話の情報を考慮した手話認識システムを構築する．
（２）類似画像の識別を良好に行うために，テンプレート数の増加を検討する．
（３）手の位置情報，動き情報を考慮した手話認識システムを構築する．
|
| Causes of Carryover |
デモ用に用いるノートPCの選定に時間を要した結果，次年度購入することとしたために生じた．
|
| Expenditure Plan for Carryover Budget |
デモ用ノートPCの調達を計画している．
|
Research Products
(2 results)
