実時間顔認識手法を用いた表情によるヒューマンインタフェースの研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 12878065
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 小笠原 司 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (30304158)
• Co-Investigator(Kenkyū-buntansha): 松本 吉央 奈良先端科学技術大学院大学, 情報科学研究科, 助手 (00314534) ; 中村 恭之 奈良先端科学技術大学院大学, 情報科学研究科, 助手 (50291969) ; 今井 正和 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (60193653)
• Keywords: ヒューマンインタフェース / 顔情報計測 / 実時間画像処理 / 表情認識 / 視線計測

Research Abstract

人間の顔は、心理状態を反映した情報を提示していると考えられる。例えば,人は他人の顔を観察することで「集中している」「ぼんやりしている」「リラックスしている」「いらいらしている」などの状態を容易に識別できる。このことから,もしコンピュータシステムが同様にユーザの心理状態を推定することができれば,ユーザを適切にサポートする,より知的なインタフェースが構築できると考えられる。
しかし,従来のコンピュータビジョンにおける顔の計測に関する研究は,静止画像もしくはオフラインの画像系列を用いたものがほとんどであり,ヒューマンインタフェースでの利用を考えるとリアルタイム性に欠けるという問題がある。また多くの場合,その処理は個人識別,表情認識,ジェスチャ認識であり,ユーザの状態を推定する手がかりにしようという試みは見られない。また,ユーザの心理状態を推定するためには,まずユーザの挙動を計測しモデリングすることが必要になるが,計測にはユーザに負担をかけない非接触型の計測装置を用いることが望ましい。
そこで,まず,非接触型でリアルタイムの顔情報計測システムを開発した。視覚により人間の顔の部位の特徴を実時間でトラッキングすることにより、表情変化を時系列で記録することを可能とした。2台のテレビカメラを用いてビデオレートで人間の顔をロバストにトラッキングし、顔の位置・姿勢を求めることができた。さらに詳細な画像処理により視線の向きを解像度3度で求めることができた。また、瞬きの計測も可能とし、顔情報計測システムとして機能することを確認した。具体的には、被験者にテレビゲームを行わせ、その時の顔の姿勢、視線、瞬きの回数を記録し、ゲームの難度が変化すると、瞬きの回数が変化することを確認した。緊張により瞬きの回数が現象すると言われているが、この現象が正しく計測されることが確認された。

Research Products

• [Publications] Yoshio Matsumoto,Tsukasa Ogasawara,Alexander Zelinsky: "Behavior Recognition Based on Head Pase and Gaze Direction Measurement"Proceedings of 2000 IEEE/RSJ International Conference on Intelligent Robots Systems. 2127-2132 (2000)