2004 Fiscal Year Annual Research Report
協調型複合現実空間における顔映像加工によるアイコンタクトの復元
Project/Area Number |
04J11981
|
Research Institution | University of Tsukuba |
Principal Investigator |
竹村 雅幸 筑波大学, 大学院・システム情報工学研究科, 特別研究員(DC2)
|
Keywords | 複合現実感 / HMD / アイコンタクト / 視線 / 顔映像 / コミュニケーション / 光学的統合 |
Research Abstract |
複合現実感(Mixed Reality)とは、我々が生活する現実世界とコンピュータグラフィックス(CG)により表現された仮想世界を融合した複合現実空間をユーザに体験させる技術である。この複合現実感を同時に複数のユーザが共有することのできる空間を協調型複合現実空間と呼ぶ。しかし、この協調型複合現実空間において複数のユーザが同時に頭部装着型ディスプレイ(HMD)を装着するとお互いの視線情報が阻害され円滑なコミュニケーションが困難になる。本研究では、HMD装着により失われた視線情報を復元することで、複合現実感の特性を活かしながらも円滑なコミュニケーションが可能な協調型複合現実空間の構築を目指す。 本研究では視線情報を復元した顔映像をHMD領域に重畳することで仮想的にHMDを除去する方式を提案する。異なる方向からの顔画像を入力とした合成顔映像生成技術では、提案手法の有効性を検証することはできたものの、テクスチャや形状の歪み、光学的な不整合がユーザに違和感を与えるとともに、視線認知の精度低下に影響すると考えられた。また、視線方向を認知する際には、ユーザの眼球のみを視線認知の基準とするのではなく、視線方向の変化に伴うまぶた形状の変化なども判断基準としていることが確認された。 そこで、従来手法と比較し高精細で現実をありのままに再現したような顔映像を生成することで、更なる視線認知精度の向上を目指す。3次元スキャナと高解像度デジタルカメラを利用し、高精細でよりリアルなまぶたの動きを含めた任意視線の顔映像を生成した。また、視線方向が異なる顔も利用することで、視線方向の変化に伴うまぶたの動きも再現した。また、光学的な不整合を解決しユーザの違和感を軽減するために、任意光源環境を複数の点光源で近似した環境下における合成顔映像を生成した。
|
Research Products
(5 results)