一人称視点魚眼カメラを用いたモバイル手話認識システムの開発

2013 年度 実施状況報告書

• 研究課題/領域番号: 25730138
• 研究種目: 若手研究(B)
• 研究機関: 九州工業大学
• 研究代表者: 河野 英昭 九州工業大学, 工学(系)研究科(研究院), 准教授 (00404096)
• 研究期間 (年度): 2013-04-01 – 2016-03-31
• キーワード: 手話認識 / 一人称視点 / 画像追跡

研究概要

ろう者と聴者の円滑なコミュニケーションを実現するために，手話話者がいつでも・どこでも身につけて利用可能なモバイル手話認識システムを開発することを目的として，次の研究を行った．
（１）一人称視点手話映像における手領域の抽出
一人称視点手話認識システム独自の問題点として，正面視点による手話認識システムと比較して，カメラと手の距離が近いことによる手領域のフレームアウトが生じることが挙げられる．肌色領域抽出のみの情報から手領域のフレームアウト有無の判別を行おうとした場合，手領域の重なりによる隠蔽との区別が困難であるので，手領域の重なりによる隠蔽と区別が可能となるようなフレームアウト有無を判別する必要がある．フレームアウトの判別については，魚眼カメラ映像の縁付近に二段階のフレームアウト判別領域を設け，その領域とラベル付けをした左右の手領域の重心の位置とを比較し，フレームアウトの判別を行う手法を提案した．実験の結果，本手法の有効性を示した．
（２）一人称視点手話認識のための画像特徴量の検討
手話認識システムをウェアラブルなシステムとして実現するために，カメラを手話話者の胸に装着し，そこから撮影される一人称視点映像を用いた手話認識を行っている．一人称視点映像では手とカメラの距離が近くなるため，奥行き方向の動きに対する面積の変化が大きくなるという特徴がある．本研究ではこれを利用し，手の動きに伴う面積変化から奥行き情報を取得する方法を考案した．その後，奥行き情報を含めたMCC(Markov Chain Code)を適用することで手の動きをより正確に認識する手法を構築した．実験の結果，奥行き方向の動きに関する認識率の改善を確認した．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初の計画通り、PCベースでの一人称視点手話画像取得環境の構築および手話映像データ収集を行い，一人称視点手話認識手法のプロトタイプを開発している．また，魚眼カメラによる画像取得に関しても画像特徴量の観点から検討を行っており，おおむね当初の初年度計画を実施している．

今後の研究の推進方策

下記の手順で研究を推進していく予定である．
（１）一人称視点魚眼カメラを用いて算出される画像特徴量の多次元時系列パターンから，その規則性を機械学習によって見いだし，動作パターンへと写像する．時系列データの認識系は，これまでの時系列解析の研究において様々な提案がなされているが，課題設定の特性に応じて選定する必要があり，有効な方法を模索する．
（２）選定に基づいた画像特徴抽出と，時系列データ認識系をカスケードに接続し，まず，先行の手話認識の研究でよく行われている約30～50語の手話に対して，認識評価実験を行う．評価に応じて，特徴抽出系および認識系の見直しを行う．
（３）組み込みシステムへの実装を行うために，アルゴリズムの計算コストとメモリ使用量を精査し，組み込みシステムへの実装可能性を見積もる．見積もりの評価に応じて，手法の見直しを行う．見積もりにあたっては，研究協力者からの専門的知識の提供も依頼する．実装が可能であると判断できれば，ワークステーションで開発を行い，組み込みシステムへの実装と認識実験による評価を行う．

次年度の研究費の使用計画

開発に用いるワークステーションの選定に時間を要した結果，次年度購入することとしたために生じた．
１） これまでの研究においても,ウェアラブルカメラや魚眼カメラを用いてきたが,最近,より軽量で,性能の向上した新しいものが登場してきている.これらを利用することで,さらに新しいシステムの構築が可能となると考えており,それらを評価・検討するために,購入することを計画している.
２） 開発用ワークステーションを導入し，試行錯誤の反復が効率的に行えるように組み込み開発環境を整備する．

研究成果

• [学会発表] 魚眼レンズを用いた一人称視点手話認識におけるレンズ歪みの影響に関する検討 (2013)
  • 著者名/発表者名: 田島裕介，古賀経邦，柴田裕介，河野英昭，前田博
  • 学会等名: 第18回日本知能情報ファジィ学会中国・四国支部大会・第15回日本知能情報ファジィ学会九州支部大会学術講演会合同大会
  • 発表場所: 下関市生涯学習プラザ
  • 年月日: 20131221-20131221
• [学会発表] 一人称視点手話認識のための手のフレームアウトを考慮した手領域判別 (2013)
  • 著者名/発表者名: 柴田裕介，折居英章，河野英昭，前田博
  • 学会等名: 第２９回ファジィシステムシンポジウム
  • 発表場所: 大阪国際大学枚方キャンパス
  • 年月日: 20130909-20130911
• [学会発表] 手の動きに伴う面積変化を用いた一人称視点手話認識 (2013)
  • 著者名/発表者名: 田島裕介，折居英章，河野英昭，前田博
  • 学会等名: 第２９回ファジィシステムシンポジウム
  • 発表場所: 大阪国際大学枚方キャンパス
  • 年月日: 20130909-20130911