Arbitrary-viewpoint and -time image rendering using 4-D information proxy

2019 Fiscal Year Research-status Report

• Project/Area Number: 18K11375
• Research Institution: Shiga University
• Principal Investigator: 佐藤 智和 滋賀大学, データサイエンス学部, 教授 (50362835)
• Co-Investigator(Kenkyū-buntansha): 河合 紀彦 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員准教授 (30610670)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 自由視点画像生成 / 欠損修復 / 画像修復 / 複合現実感

Outline of Annual Research Achievements

本研究課題では、実シーンを撮影した映像からの三次元復元に基づいて実環境イベントの時空間仮想化を行うことで、当該シーンに対する任意の時間・視点から
の高品位な映像再現を行う任意時空間映像生成を実現することを目標に、映像処理・映像提示に関する新たな基盤技術を創出する。
今年度は、入力として扱う画像に対してあらかじめDNNによる領域セグメンテーションを施し、走行車両などの移動物体領域を抽出することで、SfMにおける三次元復元の精度向上と、自由視点画像生成における動物体領域の影響の除去の双方を実現した。これにより、これまでは静的シーンのみを対象としていた自由視点画像生成において、動的シーンの影響を抑えたシーン構成を実現することが可能となった。また、全天球画像とこれに対応する奥行画像を生成し、単一視点において効率的に両眼立体視と視点移動が可能となる手法を開発し、加えて動的なシーンの浸水をVRゴーグルを用いて可視化するシステムのプロトタイプを構築した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

個別の研究要素に関する研究は順調に推移している

Strategy for Future Research Activity

自動車の車載走行映像を入力として、シーンの自由視点画像生成ができることを確認する。また、VRゴーグルと自由視点画像生成を用いて、遠隔地の仮想体験が実現できるシステムを構築し、開発した自由視点画像生成手法を評価する。

Causes of Carryover

(理由)当初計画していた会議の開催が中止となったため。
(使用計画)次年度以降の研究開発、情報収集、成果報告に充てる。