2013 Fiscal Year Research-status Report
一人称視点魚眼カメラを用いたモバイル手話認識システムの開発
| Project/Area Number |
25730138
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
河野 英昭 九州工業大学, 工学(系)研究科(研究院), 准教授 (00404096)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 手話認識 / 一人称視点 / 画像追跡 |
|---|
| Research Abstract |
ろう者と聴者の円滑なコミュニケーションを実現するために，手話話者がいつでも・どこでも身につけて利用可能なモバイル手話認識システムを開発することを目的として，次の研究を行った．
（１）一人称視点手話映像における手領域の抽出
一人称視点手話認識システム独自の問題点として，正面視点による手話認識システムと比較して，カメラと手の距離が近いことによる手領域のフレームアウトが生じることが挙げられる．肌色領域抽出のみの情報から手領域のフレームアウト有無の判別を行おうとした場合，手領域の重なりによる隠蔽との区別が困難であるので，手領域の重なりによる隠蔽と区別が可能となるようなフレームアウト有無を判別する必要がある．フレームアウトの判別については，魚眼カメラ映像の縁付近に二段階のフレームアウト判別領域を設け，その領域とラベル付けをした左右の手領域の重心の位置とを比較し，フレームアウトの判別を行う手法を提案した．実験の結果，本手法の有効性を示した．
（２）一人称視点手話認識のための画像特徴量の検討
手話認識システムをウェアラブルなシステムとして実現するために，カメラを手話話者の胸に装着し，そこから撮影される一人称視点映像を用いた手話認識を行っている．一人称視点映像では手とカメラの距離が近くなるため，奥行き方向の動きに対する面積の変化が大きくなるという特徴がある．本研究ではこれを利用し，手の動きに伴う面積変化から奥行き情報を取得する方法を考案した．その後，奥行き情報を含めたMCC(Markov Chain Code)を適用することで手の動きをより正確に認識する手法を構築した．実験の結果，奥行き方向の動きに関する認識率の改善を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り、PCベースでの一人称視点手話画像取得環境の構築および手話映像データ収集を行い，一人称視点手話認識手法のプロトタイプを開発している．また，魚眼カメラによる画像取得に関しても画像特徴量の観点から検討を行っており，おおむね当初の初年度計画を実施している．
|
| Strategy for Future Research Activity |
下記の手順で研究を推進していく予定である．
（１）一人称視点魚眼カメラを用いて算出される画像特徴量の多次元時系列パターンから，その規則性を機械学習によって見いだし，動作パターンへと写像する．時系列データの認識系は，これまでの時系列解析の研究において様々な提案がなされているが，課題設定の特性に応じて選定する必要があり，有効な方法を模索する．
（２）選定に基づいた画像特徴抽出と，時系列データ認識系をカスケードに接続し，まず，先行の手話認識の研究でよく行われている約30～50語の手話に対して，認識評価実験を行う．評価に応じて，特徴抽出系および認識系の見直しを行う．
（３）組み込みシステムへの実装を行うために，アルゴリズムの計算コストとメモリ使用量を精査し，組み込みシステムへの実装可能性を見積もる．見積もりの評価に応じて，手法の見直しを行う．見積もりにあたっては，研究協力者からの専門的知識の提供も依頼する．実装が可能であると判断できれば，ワークステーションで開発を行い，組み込みシステムへの実装と認識実験による評価を行う．
|
| Expenditure Plans for the Next FY Research Funding |
開発に用いるワークステーションの選定に時間を要した結果，次年度購入することとしたために生じた．
１） これまでの研究においても,ウェアラブルカメラや魚眼カメラを用いてきたが,最近,より軽量で,性能の向上した新しいものが登場してきている.これらを利用することで,さらに新しいシステムの構築が可能となると考えており,それらを評価・検討するために,購入することを計画している.
２） 開発用ワークステーションを導入し，試行錯誤の反復が効率的に行えるように組み込み開発環境を整備する．
|
