個人適応能力を有する高次マルチモーダルユーザインタフェースに関する研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14019071
• Research Institution: Kyushu University
• Principal Investigator: 谷口 倫一郎 九州大学, 大学院・システム情報科学研究院, 教授 (20136550)
• Co-Investigator(Kenkyū-buntansha): 米元 聡 九州産業大学, 情報科学部, 講師 (50325552) ; 有田 大作 九州大学, 大学院・システム情報科学研究院, 助手 (70304756) ; 菅沼 明 九州大学, 大学院・システム情報科学研究院, 助教授 (70235852)
• Keywords: ユーザインタフェース / インタラクション / ビジュアルインタフェース / 身体動作計測 / アフォーダンス / コンピュータビジョン / ジェスチャー

Research Abstract

本研究では,直接的な3次元動作入力を基にした仮想環境とのインタラクションを実現するための要素技術として画像認識による非接触な3次元身体動作の計測手法を開発し利用した.非接触での身体動作の計測は,効率やそのスマートさから仮想空間と実空間とのシームレス化に重要である.しかしカメラを用いて動作計測を行う場合,身体動作を精度よく推定することが一般に困難な課題であり,詳細な動作を長時間安定に推定するための手法の開発がまず必要となる.そこで本研究では,比較的安定に推定可能な手や顔の動作情報のみを計測し,身体動作を再現するための姿勢推定を自動的に行うアプローチにより,リアルな身体動作を仮想空間上に生成することを目指した.
また,仮想空間と実空間での円滑なインタラクションを遂行するために,計測した身体動作の入力をもとにユーザの本来意図した動作を適切に再現するための誘発型ユーザインタフェースの枠組みについても検討した.インタラクションを円滑に行うために,実世界において扱われるアフォーダンスの概念を仮想空間上へ応用する.環境に相当する仮想空間において,オブジェクト(仮想物体)が,人間に相当するアバター(人体モデル)に対し意味・価値のある情報,ここでは動作情報をアフォードするという捉え方である.つまり,仮想空間に存在する様々なオブジェクトにアバターの動作に関連する情報を事前情報として定義しておき,アバターの動作や他のオブジェクトとの関係に応じてアフォードされた動作候補の中から適切なものをピックアップすることで,リアルな動作を生成することができる.

Research Products

• [Publications] 米元聡, 谷口 倫一郎: "3次元人体動作の解析・生成による実時間インタラクション実現"画像の認識・理解シンポジウム(MIRU2002). II. 323-328 (2002)
• [Publications] 米元聡, 谷口 倫一郎: "Vision-based 3D Direct Manipulation Interface for Smart Interaction"Proc. of Int. Conf. on Pattern Recognition. II. 655-658 (2002)
• [Publications] 米元聡, 中野裕史, 谷口 倫一郎: "画像認識による身体動作入力にもとづく誘発型インタフェースの構築"電子情報通信学会技術報告. ITS. 171-176 (2003)
• [Publications] 石井繁範, 有田大作, 谷口倫一郎: "Real-time Head Pose Estimation With Stereo Vision"Proc. 9th Korea-Japan Joint Workshop on Frontiers of Computer Vision(FCV2003). 79-83 (2003)
• [Publications] 米元聡, 中野裕史, 谷口 倫一郎: "画像認識による身体動作入力にもとづく仮想カメラ視点の制御"インタラクション03. 31-32 (2003)
• [Publications] 米元聡, 谷口 倫一郎: "A Direct Manipulation Interface with Vision-based Human Figure Control"Proc. HCI International 2003. (発表予定). (2003)