リアルタイム手形状認識に基づく非接触インタフェースの研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14658115
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 小笠原 司 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (30304158)
• Co-Investigator(Kenkyū-buntansha): 中村 恭之 和歌山大学, システム工学部・情報通信システム学科, 助教授 (50291969) ; 上田 淳 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (30346308) ; 松本 吉央 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (00314534)
• Keywords: 手形状認識 / 多視点画像 / 手姿勢推定 / バーチャルクレイ / 非接触インタフェース

Research Abstract

本研究では、非接触な計測手法により、人の手の動きから操作的な動作を認識・獲得し、ヒューマンロボットインタフェースとしえ用いる手法の確立をめざす。本年度は、多視点画像から手の形状を認識する手法について研究を行った。
まず、実空間の手の動きを再現するための手形状モデルを構築した。関節位置および角度に基づいて手の形状を表現する関節モデルと、3次元空間中に占める手の領域に基づいて手の形状を表現するVoxelモデルを用いる。入力画像らして、単眼視画像ではオクルージョンに対応できないこと、ステレオ画像では精度が上げにくいことなどの理由から、多視点画像を用いる。この多視点画像からVoxelモデルを生成し、3次元の観測データとする。その上で、関節モデルをこのVoxelモデルに一致させることによって手の位置・姿勢・形状を推定する。
次に、Voxelモデルと関節モデルを用いた手形状推定アルゴリズムを検討した。手形状シミュレーションプログラムから出力されたシルエット画像を用いてVoxelモデルを生成し、そのVoxelモデルへ関節モデルをフィッティングさせるシミュレーションを行う。繰り返し計算により、フィッティング誤差が収束すれぱ、その時の関節モデルが手形状を表す。
4台のカメラを配置し、手の動きをとらえた画像が計算機に入力できる環境を構築した。そして、予備実験により、秒2-3コマ程度の速度で手形状の推定が可能であるという見通しを得た。

Research Products

• [Publications] E.Ueda, H.Kodama, Y.Matsumoto, T.Ogasawara: "Non-contact Virtual Clay Modeling Interface using Multi-viewpoint Images"Proceedings of IAPR Workshop on Machine Vision Applications. 56-59 (2002)
• [Publications] 上田悦子, 児玉浩卓, 松本吉央, 小笠原司: "視点カメラシステムを用いたバーチヤルクレイモデリングインタフェース"電子情報通信学会技術研究報告. PRMU2002-120 (2002)
• [Publications] 上田悦子, 児玉浩卓, 松本吉央, 小笠原司: "多視点画像を用いたバーチャルクレイモデリングインタフェース"日本ロボット学会創立20周年記念学術講演会予稿集. IG35 (2002)