協調型複合現実空間における顔映像加工によるアイコンタクトの復元
| Project/Area Number |
04J11981
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Perception information processing/Intelligent robotics
|
|---|
| Research Institution | University of Tsukuba |
|---|
| Research Fellow |
竹村 雅幸 筑波大学, 大学院・システム情報工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2004 – 2005
|
| Project Status |
Completed (Fiscal Year 2005)
|
| Budget Amount *help |
¥1,900,000 (Direct Cost: ¥1,900,000)
Fiscal Year 2005: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2004: ¥1,000,000 (Direct Cost: ¥1,000,000)
|
|---|
| Keywords | 複合現実感 / 視線情報 / コミュニケーション / 光学的不整合 / 高精細顔映像生成 / アイコンタクト / 視覚的共同注意 / 頭部装着型ディスプレイ / HMD / 視線 / 顔映像 / 光学的統合 |
|---|
| Research Abstract |
複合現実感(Mixed Reality)とは、我々が生活する現実世界とコンピュータグラフィックス(CG)により表現された仮想世界を融合した複合現実空間をユーザに体験させる技術である。この複合現実感を同時に複数のユーザが共有することのできる空間を協調型複合現実空間と呼ぶ。しかし、この協調型複合現実空間において複数のユーザが同時に頭部装着型ディスプレイ(HMD)を装着するとお互いの視線情報が阻害され円滑なコミュニケーションが困難になる。本研究では、HMD装着により失われた視線情報を復元することで、複合現実感の特性を活かしながらも円滑なコミュニケーションが可能な協調型複合現実空間の構築を目指す。
3次元スキャナを利用した高精細な顔映像を生成し、更なる視線認知精度の向上を目指す。再分割を利用することで高精細顔形状を利用しながらのモーフィングを実現し、まぶたの動きを含んだ任意視線の顔映像生成技術を開発した。この合成顔映像を利用した視線情報の復元による、アイコンタクトや視覚的共同注意の再現の有効性を主観評価実験により検証した。
また、光学的不整合による色合いと陰影の不整合がユーザに与える違和感について調査し、その許容範囲を明らかにした。色合いの不整合に対する許容範囲は、顔色として適切かどうかという要素と、顔の上下における色差が重要な要素となることを明らかにした。また、陰影の不整合に対する違和感は、それほど強くないことを明らかにした。このような結果を基に、合成顔映像を生成するための高解像度カメラの色合いをHMDカメラの色合いに合わせるカラーマッチングを行った。カラーマッチングを行うことで色合いの不整合の大幅な解消に成功し、違和感の軽減に成功した。
|
Report
(2 results)
Research Products
(11 results)
