人間の行動認識を目的とした強化学習に基づく適応的な原始動作の重ね合わせ

• 研究課題/領域番号: 13875053
• 研究種目: 萌芽研究
• 配分区分: 補助金
• 研究分野: 知能機械学・機械システム
• 研究機関: 豊田工業大学
• 研究代表者: 山田 陽滋 豊田工業大学, 大学院・工学研究科, 助教授 (90166744)
• 研究分担者: 森園 哲也 豊田工業大学, 大学院・工学研究科, 助手 (70309003) ; 李 徳衡 豊田工業大学, 大学院・工学研究科, ポストドクトララル研究員 (70329853)
• 研究期間 (年度): 2001 – 2002
• 研究課題ステータス: 完了 (2002年度)
• 配分額: 2,400千円 (直接経費: 2,400千円); 2002年度: 400千円 (直接経費: 400千円); 2001年度: 2,000千円 (直接経費: 2,000千円)
• キーワード: 意図的動作 / HMM / TD学習 / ズーム・トラッカ / プリミティブ動作 / ウェーブレット / 隠れマルコフモデル / 強化学習 / Actor-Critic手法 / 注視 / ズームトラッキング / 意図 / 原始動作 / 方策

研究概要

本研究では,人間の意図的な動作を追跡できるように,HMM(隠れマルコフモデル)に基づいたTD(Temporal Difference)学習アルゴリズムを開発した.意図的な動作は,1から5までの数をプリミティブ(原始的)な手指サインとして示すこととした.そして,上記アルゴリズムをズーム・トラッカ,すなわち取得画像の中の特徴的な部分をパン・チルト機能によって追跡することも,ズーミング機能によってズーム・インすることもできる視覚システムにインストールした.はじめに,HMMアルゴリズムを用いて,人間の自然な歩き動作や手によるサインの動作,さらにサインから再び自然な歩き動作に戻る動作を例として,人間の体の特徴的な部分の動きをモデル化した.つぎに,TD学習アルゴリズムを用いて,ズーム・トラッカが人間の意図的な動作を追跡しクローズアップする動作をTD学習によって獲得できるようにした.そして原理的には,以下のメカニズムによって,上記2つのアルゴリズムの統合が可能となった.すなわち,HMMにおける状態遷移確率をTD学習の報酬として割り当てることにより,人間の動作を追跡できる画像内の状態間の遷移確率が増大するようにズーム・トラッカの行動を学習するというものである.人間が意図的な手のふるまいを呈示した場合のみをズーム・トラッカによって自動識別できる必要があり,そのためには,最終的に呈示された手先の動作が予め教示されたプリミティブ動作と一致しているか否かが判断できる必要がある.プリミティブ動作の抽出は,他のプリミティブ動作との発展的な重ね合わせが可能となるように,ウェーブレットの2-D Symmletフィルタの適用によって達成された.本研究ではさらに,状態モデルの自動更新機能および新たな状態の切り分け識別機能を上記のHMMに基づくTD学習アルゴリズムに組み込んだ.

研究成果

• [文献書誌] M.A.T.Ho, Y.Yamada, T.Sakai, T.Morizono, Y.Umetani: "Proposal of An Adaptive Vision-based Interactional Intention Inference System in Human/Robot Coexistence"Special Issue on Machine Vision Applications, IEICE Trans. on Information and Systems. Vol. E84-D, No. 12. 1596-1602 (2001)
• [文献書誌] M.A.T.Ho, Y.Yamada, Y.Umetani: "An Adaptive Visual Attentive Tracker with HMM-based TD Learning Capability for Human Intended Behavior"IEICE Trans. on Information and Systems. (in print). (2003)
• [文献書誌] M.A.T.Ho, Y.Yamada, Y.Umetani: "An HMM-based Temporal Difference Learning with State Transition Update Capability for Visual Tracking of Human Communicational Behaviors"Special Issue on Recent Advances in Robot Vision, Journal of Robotics and Mechatronics. (in print). (2003)
• [文献書誌] Y.Yamada, Minh Anh T.Ho, T.Morizono, Y.sonohara, Y.Umetani: "An Adaptive Vision-based Attentive Tracker for Human Intended Actions"Proc. of IEEE Int. Conf. on Multisensor Fusion and Integration for Intelligent Systems (MFI2001), Baden-Baden, Germany. 245-250 (2001)
• [文献書誌] Minh Anh T.Ho, Yoji Yamada, Tetsuya Morizono, Yoji Umetani: "Proposal of An Adaptive Vision-based Attentive Tracker for Human Intended Actions"Proc. of IEEE Int. Conf. on Robotics and Automation, Seoul. 1239-1244 (2001)
• [文献書誌] Minn Anh T.HO, Yoji Yamada, Yoji Umetani: "An HMM-based Temporal Difference Learning with Model-Updating Capability for Visual Tracking of Human Communicational Behaviors"Proc. of 2002 IEEE Int. Conf. on Automatic Face and Gesture Recognition, Washington D.C.. 170-175 (2002)
• [文献書誌] Y.Yamada, Minh Anh T.Ho, T.Morizono, Y.sonohara, Y.Umetani: "An Adaptive Vision-based Attentive Tracker for Human Intended Actions"Proc. of IEEE Int. Conf. on Multisensor Fusion and Integration for Intelligent Systems (MFI2001). 245-250 (2001)
• [文献書誌] Minh Anh Thi HO, Yoji YAMADA, Tetsuya MORIZONO, et al.: "Proposal of An Adaptive Vision-based Interactional Intention Inference System in Human/Robot Coexistence"IEICE Transactions on Information and Systems. Vol.84-D, No.12. 1596-1602 (2001)
• [文献書誌] Minh Anh T.Ho, Y.Yamada, T.Morizono, Y.Sonohara, Y.Umetani: "Proposal of An Adaptive Vision-based Attentive Tracker for Human Intended Actions"Proc. of IEEE Int. Conf. on Robotics & Automation (ICRA2001). 1239-1244 (2001)
• [文献書誌] Minh Anh T.Ho, Y.Yamada, Y.Umetani: "An HMM-based Temporal Difference Learning with Model-Updating Capability for Visual Tracking of Human Communicational Behaviors"Proc. of IEEE Int. Conf. on Automatic Face and Gesture Recognition. (in press). (2002)