人間の行動認識を目的とした強化学習に基づく適応的な原始動作の重ね合わせ

• Project/Area Number: 13875053
• Research Category: Grant-in-Aid for Exploratory Research
• Allocation Type: Single-year Grants
• Research Field: Intelligent mechanics/Mechanical systems
• Research Institution: Toyota Technological Institute
• Principal Investigator: 山田 陽滋 豊田工業大学, 大学院・工学研究科, 助教授 (90166744)
• Co-Investigator(Kenkyū-buntansha): 森園 哲也 豊田工業大学, 大学院・工学研究科, 助手 (70309003) ; 李 徳衡 豊田工業大学, 大学院・工学研究科, ポストドクトララル研究員 (70329853)
• Project Period (FY): 2001 – 2002
• Project Status: Completed (Fiscal Year 2002)
• Budget Amount: ¥2,400,000 (Direct Cost: ¥2,400,000); Fiscal Year 2002: ¥400,000 (Direct Cost: ¥400,000); Fiscal Year 2001: ¥2,000,000 (Direct Cost: ¥2,000,000)
• Keywords: 意図的動作 / HMM / TD学習 / ズーム・トラッカ / プリミティブ動作 / ウェーブレット / 隠れマルコフモデル / 強化学習 / Actor-Critic手法 / 注視 / ズームトラッキング / 意図 / 原始動作 / 方策

Research Abstract

本研究では,人間の意図的な動作を追跡できるように,HMM(隠れマルコフモデル)に基づいたTD(Temporal Difference)学習アルゴリズムを開発した.意図的な動作は,1から5までの数をプリミティブ(原始的)な手指サインとして示すこととした.そして,上記アルゴリズムをズーム・トラッカ,すなわち取得画像の中の特徴的な部分をパン・チルト機能によって追跡することも,ズーミング機能によってズーム・インすることもできる視覚システムにインストールした.はじめに,HMMアルゴリズムを用いて,人間の自然な歩き動作や手によるサインの動作,さらにサインから再び自然な歩き動作に戻る動作を例として,人間の体の特徴的な部分の動きをモデル化した.つぎに,TD学習アルゴリズムを用いて,ズーム・トラッカが人間の意図的な動作を追跡しクローズアップする動作をTD学習によって獲得できるようにした.そして原理的には,以下のメカニズムによって,上記2つのアルゴリズムの統合が可能となった.すなわち,HMMにおける状態遷移確率をTD学習の報酬として割り当てることにより,人間の動作を追跡できる画像内の状態間の遷移確率が増大するようにズーム・トラッカの行動を学習するというものである.人間が意図的な手のふるまいを呈示した場合のみをズーム・トラッカによって自動識別できる必要があり,そのためには,最終的に呈示された手先の動作が予め教示されたプリミティブ動作と一致しているか否かが判断できる必要がある.プリミティブ動作の抽出は,他のプリミティブ動作との発展的な重ね合わせが可能となるように,ウェーブレットの2-D Symmletフィルタの適用によって達成された.本研究ではさらに,状態モデルの自動更新機能および新たな状態の切り分け識別機能を上記のHMMに基づくTD学習アルゴリズムに組み込んだ.

Research Products

• [Publications] M.A.T.Ho, Y.Yamada, T.Sakai, T.Morizono, Y.Umetani: "Proposal of An Adaptive Vision-based Interactional Intention Inference System in Human/Robot Coexistence"Special Issue on Machine Vision Applications, IEICE Trans. on Information and Systems. Vol. E84-D, No. 12. 1596-1602 (2001)
• [Publications] M.A.T.Ho, Y.Yamada, Y.Umetani: "An Adaptive Visual Attentive Tracker with HMM-based TD Learning Capability for Human Intended Behavior"IEICE Trans. on Information and Systems. (in print). (2003)
• [Publications] M.A.T.Ho, Y.Yamada, Y.Umetani: "An HMM-based Temporal Difference Learning with State Transition Update Capability for Visual Tracking of Human Communicational Behaviors"Special Issue on Recent Advances in Robot Vision, Journal of Robotics and Mechatronics. (in print). (2003)
• [Publications] Y.Yamada, Minh Anh T.Ho, T.Morizono, Y.sonohara, Y.Umetani: "An Adaptive Vision-based Attentive Tracker for Human Intended Actions"Proc. of IEEE Int. Conf. on Multisensor Fusion and Integration for Intelligent Systems (MFI2001), Baden-Baden, Germany. 245-250 (2001)
• [Publications] Minh Anh T.Ho, Yoji Yamada, Tetsuya Morizono, Yoji Umetani: "Proposal of An Adaptive Vision-based Attentive Tracker for Human Intended Actions"Proc. of IEEE Int. Conf. on Robotics and Automation, Seoul. 1239-1244 (2001)
• [Publications] Minn Anh T.HO, Yoji Yamada, Yoji Umetani: "An HMM-based Temporal Difference Learning with Model-Updating Capability for Visual Tracking of Human Communicational Behaviors"Proc. of 2002 IEEE Int. Conf. on Automatic Face and Gesture Recognition, Washington D.C.. 170-175 (2002)
• [Publications] Y.Yamada, Minh Anh T.Ho, T.Morizono, Y.sonohara, Y.Umetani: "An Adaptive Vision-based Attentive Tracker for Human Intended Actions"Proc. of IEEE Int. Conf. on Multisensor Fusion and Integration for Intelligent Systems (MFI2001). 245-250 (2001)
• [Publications] Minh Anh Thi HO, Yoji YAMADA, Tetsuya MORIZONO, et al.: "Proposal of An Adaptive Vision-based Interactional Intention Inference System in Human/Robot Coexistence"IEICE Transactions on Information and Systems. Vol.84-D, No.12. 1596-1602 (2001)
• [Publications] Minh Anh T.Ho, Y.Yamada, T.Morizono, Y.Sonohara, Y.Umetani: "Proposal of An Adaptive Vision-based Attentive Tracker for Human Intended Actions"Proc. of IEEE Int. Conf. on Robotics & Automation (ICRA2001). 1239-1244 (2001)
• [Publications] Minh Anh T.Ho, Y.Yamada, Y.Umetani: "An HMM-based Temporal Difference Learning with Model-Updating Capability for Visual Tracking of Human Communicational Behaviors"Proc. of IEEE Int. Conf. on Automatic Face and Gesture Recognition. (in press). (2002)