実時間の密なインタラクションに基づくヒューマンインタフェースシステムの試作研究

1997 年度 実績報告書

• 研究課題/領域番号: 09555080
• 研究機関: 大阪大学
• 研究代表者: 久野 義徳 大阪大学, 工学部, 助教授 (10252595)
• 研究分担者: 塩原 守人 富士通研究所, マルチメディアシステム研究所, 研究員 ; 島田 伸敬 大阪大学, 工学部, 助手 (10294034) ; 三浦 純 大阪大学, 工学部, 助手 (90219585) ; 白井 良明 大阪大学, 工学部, 教授 (50206273)
• キーワード: コンピュータビジョン / ヒューマンインタフェース / 仮想現実 / ジェスチャ認識 / 実時間システム / 視線 / 状態遷移図 / 意図理解

研究概要

人間と機械のコミュニケーションの手段として,人間同士の場合と同様にジェスチャが注目されている.しかし,従来のジェスチャ認識を利用したヒューマンインタフェースの研究では,ユーザは少数の特定のジェスチャだけを行うと仮定していた.実際には,ジェスチャはいろいろな意味で使われるし,さらに問題なのは人間はそれらのシステムで考えている意図した場合以外にも,無意識に手や身体を動かすこともあるということである.そこで,ビデオカメラの画像から,人間がある意図をもって意識的に行ったジェスチャの部分を取り出して,その意図を実時間で理解するシステムの実現を目指して研究を行った.
今年度はある作業を行う場合に起こり得るジェスチャのシーケンスを状態遷移図で表すことにより,仮想世界の中の物体を操作する際の多様な手の動きを認識する方法を検討した.これは人間が意図的に行う動作は作業目的に合っていることを利用したものである.さらに,人間が意識的に作業をしている場合には作業対象を見ているはずだということから,視線(実際には顔の向きで代用)を求め,それが対象を向いているときだけ物体を操作する意図したジェスチャとして認識するようにした.そして,パーソナルコンピュータに並列画像処理装置を接続し,以上を実時間処理できるシステムを開発した.これにより,仮想世界の中の物体を手で掴んで動かしたり,さらに両手で持って伸ばしたり縮めたりというような操作ができる基本的なシステムが実現できた.

研究成果

• [文献書誌] K.Hayashi, Y.Kuno, and Y.Shirai: "Pointing gesture recognition system permitting user's freedom of movement" Proc.Workshop on Perceptual User Interfaces. 16-19 (1997)
• [文献書誌] K.H.Jo, Y.Kuno, and Y.Shirai: "Context-based recognition of manipulative hand gestures for human computer interaction" Proc.3rd Asian Conference on Computer Vision. 2. 368-375 (1998)
• [文献書誌] K.H.Jo, Y.Kuno, and Y.Shirai: "Manipulative hand gesture recognition using task knowledge for human computer interaction" Proc.3rd IEEE International Conference on Face and Gesture Recognition. (発表予定). (1998)
• [文献書誌] Y.Kuno, T.Ishiyama, K.H.Jo, N.Shimada, and Y.Shirai: "Vision-besed human interface sysyem selectively recognizing intentional hand gestures" Proc.IASTED Int.Conf.on Computer Graphics and Imaging. (発表予定). (1998)