実世界型インターフェース実現のための実環境モデルの学習

1999 Fiscal Year Annual Research Report

• Project/Area Number: 11780298
• Research Institution: The University of Tokyo
• Principal Investigator: 佐藤 洋一 東京大学, 生産技術研究所, 講師 (70302627)
• Keywords: ヒューマン・コンピュータ・インタラクション / 実世界志向型インターフェース / 動画像処理 / 赤外線画像処理 / ジェスチャ認識 / 人体動作計測

Research Abstract

本研究では、従来型のGUIの枠組みを超えて、行動の主体であるユーザと実世界とのインタラクションを考慮したインターフェース(実世界志向型インターフェース)の実現を目的とする。特に、実世界志向型インターデース実現のための構成要素である実世界認識およびに実環境モデル学習について必要とされる技術を開発していくことにより、現実空間と電子的空間に存在する両方の情報を拡張現実感技術により有機的に統合しながら、操作主体となる人間にとってより自然な形で必要な情報を得ることを可能とするインターフェースを確立させることを目指している。
提案する拡張デスクトップ環境の構成は以下の通りである。赤外線カメラおよびに可視領域カラーカメラ等からの入力画像をもとに、ユーザの行動を理解し、かつ机上に存在する物体を認識する。その結果に基づき、関連する電子的情報を検索し、プロジェクタにより机上に関連情報を重ね込み投影する。また、認識された実物体に関連して、どのような情報が検索されたのかを実環境モデルとして学習していく。このことにより実空間内に散在する情報と電子的情報とが適応的に関連付けられていくことになる。このようにして学習された相互関係は、ユーザに対してより自然なインターフェースを提供するために再利用されていく。このようなシステム構成のもと、本年度は、以下の項目に関して研究を進めた。
・拡張デスクトップ環境のためのシステムハードウェア全体を構築した。具体的には、赤外線カメラおよびにカラーカメラの入力画像系、電子情報を実世界に重ね込みするための液晶プロジェクタの出力画像系、およびにデスクトップ上実世界座標系の幾何的キャリブレーションを実現した。
・ユーザのジェスチャ認識技術を開発した。具体的には、画像処理ボードを用いて赤外線カメラ画像を実時間処理することにより、ユーザの指定を高速且つ安定に追跡するための手法を開発した。その結果に基づき、指先の軌跡から様々なジェスチャの自動認識を実現するための基礎部分の開発を進めた。