画像処理による視線/顔の向きとユーザ主体型映像通信の実現

1995 年度 実績報告書

• 研究課題/領域番号: 07455155
• 研究種目: 一般研究(B)
• 研究機関: 東京大学
• 研究代表者: 羽鳥 光俊 東京大学, 大学院・工学系研究科, 教授 (60010790)
• 研究分担者: 相澤 清晴 東京大学, 大学院・工学系研究科, 助教授 (20192453)
• キーワード: 画像処理 / 視線一致 / 顔の向き / 顔の追跡 / アイコンタクト

研究概要

本研究では、映像を主とする将来のマルチメディア通信においてユーザ主体型の映像通信を実現するための画像処理技術とその実験システムによる検証を目的としている。ユーザの状況を自動的に検知し、映像内容を制御すれば、臨場感を高め直接対話しているような環境を実現可能と考えられる。具体的には、視線の一致の問題にといわれるように映像通信の臨場感を左右する一つの重要な要素はユーザの視線や顔の向きであるため、第一に複数人の視線一致を可能と居るユーザ主体型映像通信システムの構築を目的としている。さらに、必要に応じ、視野(カメラ)の制御、表示(ディスプレー)の制御を行なうことで、ユーザの意図をより反映させた映像通信の実現を目標としている。
当初の計画通り、以下の課題に関して検討を進めた。
(1)複数人の視線一致が可能な映像通信システムの構築と検討
テレビ会議での実用上の問題となる視線の自然な一致/不一致を可能とするシステム(MPEC)の構築を行なった.ハーフミラを併せた複数のディスプレに対してカメラ配置を工夫することで,複数人同志のテレビ会議にて自然な視線の一致/不一致を与えることができる.1対2での会議を想定した第一次プロトタイプを構築しその原理が動作することを確認した.また,第2次ブロトタイプにより,2対2の会議を想定したシステム構築を行った.
(2)ロバストな顔の向き/視線の検出/追跡手法の検討
エッジ情報とデフォーマブルテンプレートを用いた顔の自動追跡の手法を提案し実験検討した.データベースからの多数の顔画像に対して解析アルゴリズムに必要とされる基本的なパラメータの抽出も行った.

研究成果

• [文献書誌] L.C.Desilva,K.Aizawa M.Hatori: "Detection and tracking of facial features by uscng edgepixel counting and dcformable circular terplate matching" IEEE Trans.Information and Systems. E78-D. 1195-1207 (1995)
• [文献書誌] L.C.Desilva,M、Tahara,K.Aizawa,M.Hatori: "A Telecomferencing System capable of multiple person eye contact (MPEC)" IEEE Trans.Circuit and System for video Technology. 5. 268-277 (1995)
• [文献書誌] L.C.Desilva,M、Tahara,K.Aizawa,M.Hatori: "A multiple person eye contact (MPEC) teleconferencing system" IEEE Int.conf.on Image Proessing22GD03:II. 607-610 (1995)
• [文献書誌] L.C.Desilva,K.Aizawa,M.Hatori: "Detection and Tracking of facial features" SPIE. 2501. 1161-1172 (1995)
• [文献書誌] L.C.Desilva,K.Aizawa,M.Hatori: "A teleconferencing system capable of multiple person eye contact using halfirrors and cavevas placed at common field of vision point." Int.Conf.on Human Computer Interaction. 20- (1995)