階層化HMMによる実環境下リアルタイム連続ジェスチャ認識

2000 Fiscal Year Annual Research Report

• Project/Area Number: 12750382
• Research Institution: Osaka University
• Principal Investigator: 岩井 儀雄 大阪大学, 基礎工学研究科, 助手 (70294163)
• Keywords: ジェスチャ認識 / 非接触計測 / HMM / 姿勢計測 / 連続ジェスチャ / カメラ / 階層化

Research Abstract

実環境においては、様々な環境条件、人物行動があるが、本研究では、屋内環境で、人物行動には電子図書館のような文書提示システムを例題として研究を行なった。このような不特定多数が利用するシステムでは従来研究のようなセンサを装着する手法では対応できない。そこで本研究ではカメラを用いて非接触で人物のジェスチャを理解するシステムを構築した。状況に複雑に依存しているジェスチャは、従来手法のような単純構成のHMMでは認識が不可能である。その理由は、1)単一のHMMで学習を行なった場合、ジェスチャが複雑な時空構造をなし学習が進まないこと、2)ジェスチャ間の遷移があるので単一のジェスチャを学習したHMMでは連続ジェスチャの認識率が落ちることにある。そこで、本研究では、単純なジェスチャを認識する低レベルHMMと、状況認識用の高レベルHMMとを組み合わせた階層化HMMで認識を試みる。具体的には、画像中での色情報と運動情報、姿勢推定での予測を利用して人物像の安定抽出を行なった。さらに人体モデルを構築し、予測フィルタを用いた姿勢推定と、追跡処理へのフィードバックの効率について研究した。、
また、ジェスチャの組合せについて認識でき、状況に応じてHMMの確率を強化するレイヤを加えた2階層HMMを構築した。このHMMを利用して、人物の行動認識、状況認識を行なったところ良好な認識結果が得られた。

Research Products

• [Publications] Dadet Pramadihant,Voshio Iwai,Masahiko Yachida: "Integrated Person Identification and Expression Recognition from Facial Images"IEICE Trans.on Information and Systems . E82-7(in press). (2001)
• [Publications] 萬上圭太,岩井儀雄,谷内田正彦: "統計的な動きモデルを用いた人物の姿勢推定"システム制御情報. 45-6(印刷中). (2001)
• [Publications] 岩井儀雄,八木康史,谷内田正彦: "インタラクション手段としての人間情報計測・認識技術"システム制御情報. 45-6(印刷中). (2001)
• [Publications] Bessho Hiroald,Yoshio Iwai,Masahiko Yachida: "Detecting Human Face and Recognizing Facial Expressions Using Potential Net "Intl.Conf.on Pattem Recognition. 1. 1076-1079 (2000)
• [Publications] 平山高嗣,岩井儀雄,谷内田正彦: "スケール変化にロバストな個人認識システム"信学技法PRMU. 2000-162. 15-22 (2000)
• [Publications] 樹木義道,岩井儀雄,谷内田正彦: "HMMを利用した実時間ジェスチャー認識"信学技法PRMU. 2000-150. 25-30 (2000)