Arbitrary-viewpoint and -time image rendering using 4-D information proxy

Research Project

Project/Area Number	18K11375
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61010:Perceptual information processing-related
Research Institution	Shiga University
Principal Investigator	SATO TOMOKAZU 滋賀大学, データサイエンス学部, 教授 (50362835)
Co-Investigator(Kenkyū-buntansha)	河合紀彦大阪工業大学, 情報科学部, 准教授 (30610670)
Project Period (FY)	2018-04-01 – 2021-03-31
Project Status	Completed (Fiscal Year 2020)
Budget Amount *help	¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000) Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2019: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2018: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywords	自由視点画像生成 / 画像修復 / 三次元復元 / 欠損修復 / 複合現実感 / コンピュータビジョン / 仮想化現実 / 複合現実
Outline of Final Research Achievements	In this research, we have developed a method to realize high-quality image generation by fusing both viewpoint-dependent texture mapping and viewpoint-dependent geometry. In particular, we focused for realizing high-quality free-viewpoint image generation that reduces artifacts (for example, blurring and distortion of texture). We have also developed a method for automatically generating textures in occluded areas that cannot be reproduced with the acquired images themselves. The method can evaluated the repair results of defective areas by itself, which was difficult in the conventional researches.
Academic Significance and Societal Importance of the Research Achievements	本研究課題では、これまで実現されてこなかった運動物体を含む一般的な実シーンに対する高品位な任意時空間映像の生成手法を開発することが目的である。当該分野においては、これまでシーンの三次元復元と自由視点画像生成に関する研究がそれぞれ独立に推進されてきたが、それら単独での性能向上には限界がある。本研究では、これら三次元復元手法と自由視点画像生成手法の双方における映像処理を高度に融合することで、手法単独での性能向上限界を超えた高品位な任意時空間画像の生成を実現することに意義がある。