Arbitrary-viewpoint and -time image rendering using 4-D information proxy

2020 Fiscal Year Annual Research Report

• Project/Area Number: 18K11375
• Research Institution: Shiga University
• Principal Investigator: 佐藤 智和 滋賀大学, データサイエンス学部, 教授 (50362835)
• Co-Investigator(Kenkyū-buntansha): 河合 紀彦 大阪工業大学, 情報科学部, 准教授 (30610670)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 自由視点画像生成 / 欠損修復 / 画像修復 / 複合現実感

Outline of Annual Research Achievements

本研究課題では、実シーンを撮影した映像からの三次元復元に基づいて実環境イベントの時空間仮想化を行うことで、当該シーンに対する任意の時間・視点からの高品位な映像再現を行う任意時空間映像生成を実現することを目標に、映像処理・映像提示に関する新たな基盤技術を創出する。今年度は、移動撮影した全天球映像からStructure from motion法とMulti-view Stereo法によって推定した奥行画像の補完方法の開発と、復元された三次元情報を用いたVRゴーグルによる仮想化現実世界の構築を行った。視点依存型幾何情報を用いた自由視点画像生成において重要となる奥行画像の欠損については、スーパーピクセルを用いた画像の領域分割と、各領域に対する局所平面仮定を用いて、欠損を補完する手法を開発した。また、補完した奥行画像と三次元情報を用いて、VRゴーグルで体験可能な仮想化現実世界を構築し、視点移動を伴う実世界情報の可視化が可能であることを確認した。また奥行画像を用いることで、仮想化世界における実画像と運動物体として重畳提示するCGの隠蔽関係を視覚的に正しく再現可能であることを確認した。