| 研究課題/領域番号 |
25730138
|
|---|
| 研究機関 | 九州工業大学 |
|---|
研究代表者 |
河野 英昭 九州工業大学, 工学(系)研究科(研究院), 准教授 (00404096)
|
|---|
| 研究期間 (年度) |
2013-04-01 – 2016-03-31
|
| キーワード | 手話認識 / 一人称視点 / 画像特徴量 / 画像追跡 |
|---|
| 研究実績の概要 |
ろう者と聴者の円滑なコミュニケーションを実現するために，手話話者がいつでも・どこでも身につけて利用可能なモバイル手話認識システムを開発することを目的として，SIFT特徴量を用いた手形状判別による一人称視点手話認識の検討を行った．本研究では，カメラを手話話者の胸の位置に装着し，手話動作を撮影する．撮影される映像は，手話話者側の視点から見る話者視点映像となる．認識手法は，Auephanwiriyakulらの先行手法を基本とする．この手法では正面映像に対してSIFTを用いて手話動作のマッチングを行っている．そのため計算コストが低く，ウェアラブルシステムに適している．しかし話者視点映像に対して適応した場合，認識精度が低くなるといった結果を示した．そこで提案手法では処理に変更を加える．提案手法の処理手順は以下のとおりである．(1)手話動画をカメラで撮影する．(2)撮影した動画を14フレームに間引く．(3)各フレームと手の形のテンプレートでSIFTマッチングを行う．(4)得られた各キーポイントにおける手のシルエットの重なりの度合いを求める．(5)重なりの度合いに基づいて各フレームにラベルを割り当てる．(6)得られたラベル列をHMMで学習・認識する．
手話単語の認識実験を行い，本システムの認識精度を確認した結果，22単語中19単語の認識は良好な結果を示した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の計画通り，PCベースでの一人称視点手話画像取得環境の構築および手話映像データ収集を行い，一人称視点手話認識手法のプロトタイプの開発、および少数サンプルによる評価実験を実施しており，おおむね当初の計画を実施している．
|
| 今後の研究の推進方策 |
下記の手順で研究を推進していく予定である．
（１）左手手話の情報を考慮した手話認識システムを構築する．
（２）類似画像の識別を良好に行うために，テンプレート数の増加を検討する．
（３）手の位置情報，動き情報を考慮した手話認識システムを構築する．
|
| 次年度使用額が生じた理由 |
デモ用に用いるノートPCの選定に時間を要した結果，次年度購入することとしたために生じた．
|
| 次年度使用額の使用計画 |
デモ用ノートPCの調達を計画している．
|
