| 研究分担者 |
三浦 純 大阪大学, 大学院・工学研究科, 助教授 (90219585)
先山 卓朗 大阪大学, 大学院・工学研究科, 助手 (70335371)
島田 伸敬 立命館大学, 情報理工学部, 助教授 (10295371)
島田 伸敬 立命館大学, 情報理工学部, 助教授 (10294034)
|
|---|
| 研究概要 |
本研究では,背景や衣服に制限のない場合の手話をテレビカメラで観測し,得られる画像から両手の動きと形状,両腕の位置と方向,顔の位置などの特徴を抽出し,その特徴の時系列から手話を認識する方法を次の3つのサブテーマにわけ研究した.
1.手話知識を利用した複雑背景下における手指領域の抽出と追跡
2.時系列画像特徴に基づく手話単語認識
3.3次元手指構造モデルを用いた形状変動の学習に基づく手指形状識別
1では,手話単語中の手形状とその変化を,速度に応じて適宜選択された特徴を持つモデルから構成される遷移ネットワークに登録し高速運動する手領域を安定して追跡できた.複雑背景下で追跡するために,手指輪郭上と背景からエッジ点が観測される確率に基づく真の手指輪郭長の推定値を照合の評価基準とする手法を提案した.手話単語20単語について一つのネットワークを構築し,速い動作や顔と手の重なりを含む手指形状の追跡を正しく行うことができた.
2では,商店での衣服の買い物のときに用いられる50語程度の手話単語セットに対し,指本数ならびに手領域の主軸方向,顔位置を基準とした手領域位置,動きベクトルを特徴に用いてHMMによる単語学習をおこなった.顔と手,手どうしによる隠蔽時には非隠蔽時に記憶させた顔と手のテクスチャを用いて追跡を行った.まず手位置と動きによるHMMと照合し,残った単語候補を形も含めたHMMと照合することで誤認識を減少させた.また両手の特徴を合わせてHMMを学習させることにより,単語認識の精度が向上することがわかった.
3では,3次元構造モデルを利用して,あらかじめありうる手指の見え方とその時間変化を学習させておき,入力画像と照合することで手指形状を識別,追跡する手法について研究した.あらかじめモデルから生成した手形状シルエットモデルをデータベースに登録するが,モデルの近傍で3次元姿勢パラメータ(関節角度)を変動させ,見え方の変動をあらかじめ学習することで,許容される変動とそうでない変動にわけてから照合を行うことで照合の精度を向上させた.ハイエンドPCに大容量メインメモリを搭載し,相互にGbit高速LANで接続したPCクラスタシステム上に実装した.これにより約16万通りの手指姿勢を10fps程度で推定するシステムを構築することができた.
|
