本研究課題では、実シーンを撮影した映像からの三次元復元に基づいて実環境イベントの時空間仮想化を行うことで、当該シーンに対する任意の時間・視点からの高品位な映像再現を行う任意時空間映像生成を実現することを目標に、映像処理・映像提示に関する新たな基盤技術を創出する。今年度は、移動撮影した全天球映像からStructure from motion法とMulti-view Stereo法によって推定した奥行画像の補完方法の開発と、復元された三次元情報を用いたVRゴーグルによる仮想化現実世界の構築を行った。視点依存型幾何情報を用いた自由視点画像生成において重要となる奥行画像の欠損については、スーパーピクセルを用いた画像の領域分割と、各領域に対する局所平面仮定を用いて、欠損を補完する手法を開発した。また、補完した奥行画像と三次元情報を用いて、VRゴーグルで体験可能な仮想化現実世界を構築し、視点移動を伴う実世界情報の可視化が可能であることを確認した。また奥行画像を用いることで、仮想化世界における実画像と運動物体として重畳提示するCGの隠蔽関係を視覚的に正しく再現可能であることを確認した。
|