視線方向の実時間計測とその実世界指向インターフェースへの応用

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13780318
• Research Category: Grant-in-Aid for Encouragement of Young Scientists (A)
• Research Institution: The University of Tokyo
• Principal Investigator: 佐藤 洋一 東京大学, 生産技術研究所, 助教授 (70302627)
• Keywords: ヒューマン・コンピュータ・インタラクション / 実世界指向インターフェース / 動画像処理 / ステレオ画像処理 / 視線計測

Research Abstract

本研究では、現在の拡張机型インタフェースシステムにおいて手指動作のみではユーザ動作を信頼性良く認識できないという点に注目し、モダリティの異なる入力を統合的に利用することを検討している。具体的には、ユーザの視線方向をリアルタイムで計測することにより、実世界の中でユーザが注目している対象物体や領域などを特定することにより、観察されたユーザの行動から意識的に行われたもののみを特定することを可能とする枠組みを実装し、その有効性を実験的に評価することを目的としている。
実世界指向インターフェースにおける自然なインタラクションを実現するためには、ユーザに特殊なデバイスなどを装着することを要求するのは現実的ではない。そこで今年度は、2台のカメラ入力をもとに実時間ステレオ画像処理によりユーザの頭部姿勢およびに視線方向を高速かつ安定に測定する技術を開発した。また、通常の可視領域ではなく近赤外領域に感度を持つビデオカメラと近赤外領域光源を利用することにより、光源などの環境の変化に対する信頼性の向上を実現した。本研究により実装した視線方向計測システムにおける処理の概要は以下のとおりである。
■2台のカメラからの画像入力をもとに、ユーザ頭部の3次元位置・姿勢を計測。ユーザの顔における特徴点(目じり、口など)を各入力画像中で追跡し、左右の画像における追跡結果から各特徴点の3次元位置を推定する。
■ユーザの目に対する瞳の位置を検出することにより、ユーザの視線の3次兀方向を推定する。
■システムの動作開始時や視線方向測定失敗時などに顔の特徴点の追跡を再開するために特徴点位置を検出する。
今後は、このステレオ画像処理によるユーザ視線方向計測システムをもとにして、拡張机型インタフェースシステムにおけるユーザ動作の誤認識を低減するための手法を開発し、その有効性を実験的に評価していくことを予定している。