Arbitrary-viewpoint and -time image rendering using 4-D information proxy

2020 Fiscal Year Final Research Report

• Project/Area Number: 18K11375
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Shiga University
• Principal Investigator: SATO TOMOKAZU 滋賀大学, データサイエンス学部, 教授 (50362835)
• Co-Investigator(Kenkyū-buntansha): 河合 紀彦 大阪工業大学, 情報科学部, 准教授 (30610670)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 自由視点画像生成 / 画像修復 / 三次元復元

Outline of Final Research Achievements

In this research, we have developed a method to realize high-quality image generation by fusing both viewpoint-dependent texture mapping and viewpoint-dependent geometry. In particular, we focused for realizing high-quality free-viewpoint image generation that reduces artifacts (for example, blurring and distortion of texture). We have also developed a method for automatically generating textures in occluded areas that cannot be reproduced with the acquired images themselves. The method can evaluated the repair results of defective areas by itself, which was difficult in the conventional researches.

Free Research Field

コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

本研究課題では、これまで実現されてこなかった運動物体を含む一般的な実シーンに対する高品位な任意時空間映像の生成手法を開発することが目的である。当該分野においては、これまでシーンの三次元復元と自由視点画像生成に関する研究がそれぞれ独立に推進されてきたが、それら単独での性能向上には限界がある。本研究では、これら三次元復元手法と自由視点画像生成手法の双方における映像処理を高度に融合することで、手法単独での性能向上限界を超えた高品位な任意時空間画像の生成を実現することに意義がある。