画像情報に基づく複雑背景下での手話認識に関する研究

2003 年度 実績報告書

• 研究課題/領域番号: 15300058
• 研究機関: 大阪大学
• 研究代表者: 白井 良明 大阪大学, 大学院・工学研究科, 教授 (50206273)
• 研究分担者: 先山 卓朗 大阪大学, 大学院・工学研究科, 助手 (70335371) ; 島田 伸敬 大阪大学, 大学院・工学研究科, 助教授 (10294034) ; 三浦 純 大阪大学, 大学院・工学研究科, 助教授 (90219585)
• キーワード: 手指形状推定 / 手話認識 / 複雑背景 / 3次元モデル / 見え変動モデルの学習 / 時系列画像追跡 / 遷移ネットワーク / HMM

研究概要

商店での衣服の買い物のときに用いられる50語程度の手話単語をボランティアの手話通訳者に実演してもらい,学習用サンプル画像列を収集した.これに対して色を用いた手領域の抽出と追跡処理を行い,手の形状,位置,動きを特徴に用いてHMMによる単語学習をおこなった.このとき,顔と手,手どうしによる隠蔽を検出し,非隠蔽時に記憶させた顔と手のテクスチャを用いて隠蔽後の追跡を行った.認識時にはまず手位置と動きだけを学習させたHMMと照合して単語候補を限定し,残ったものを形も含めて学習させたHMMと照合することにより,誤認識を減少させた.
色を使うだけでは一般の背景や服装の元で手形状を切り出すことが困難なため,手動で切り出した手位置と輪郭形状の時間変化を遷移ネットワークに学習させ,エッジ画像と照合する手法を検討した.学習済みの遷移ネットワークを用いて,前時刻の手形状から複数の形状候補を予測し,エッジ画像と照合する.このとき,背景と手輪郭上にエッジが観測される確率モデルを作り,モデルから統計的に推定される真の手輪郭に由来するエッジの個数を最大にする照合基準を用いると,照合性能が向上することが実験で確認できた.
指や手首が微少に3次元回転すると,2次元的な見えが多様に変化するために登録画像との照合がうまく行かないことがあった.ありうる全ての画像を遷移ネットワークに登録するのは不可能であるので,予め手指の3次元的な関節構造モデルから2次元的な見えを多量に生成し,その見えの変動を統計的に学習することで,ロバストに照合する手法を研究した.各関節角度を大まかにサンプリングして典型姿勢とし,各典型姿勢の近傍で関節を微少に変化させた輪郭画像を生成する.得られた画像群を固有空間上のクラスタに分類する.各クラスタを正規分布で近似し,入力画像の尤度の高いモデルを推定結果とする.黒色の単純背景下での手指輪郭画像を用いた照合実験を行い,従来法で誤識別する例を正しく識別できた.

研究成果

• [文献書誌] M.H.Jeong, Y.Kuno, N.Shimada, Y.Shirai: "Recognition of Two-Hand Gestures Using Coupled Switching Linear Model"IEICE Transactions Division D. Vol.E86-D, No.8. 1416-1425 (2003)
• [文献書誌] 浜田康志,, 島田伸敬, 白井良明: "手話認識のための複雑背景における手指形状認識"電子情報通信学会PRMU研究会技術報告. 2003-152. 7-12 (2003)
• [文献書誌] A.Imai, N.Shimada, Y.Shira: "3-D Hand Posture Recognition by Training Contour Variation"Proc.of 6th Int.Conf.on Automatic Face and Gesture Recognition. (発表予定). (2004)
• [文献書誌] Y.Hamada, N.Shimada, Y.Shirai: "Hand Shape Estimation under Complex Backgrounds for Sign Language Recognition"Proc.of 6th Int.Conf.on Automatic Face and Gesture Recognition. (発表予定). (2004)