A Study on the Free-viewpoint Panoramic Video

2019 Fiscal Year Final Research Report

• Project/Area Number: 17H07324
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Single-year Grants
• Research Field: Perceptual information processing
• Research Institution: National Institute of Informatics
• Principal Investigator: Ikehata Satoshi 国立情報学研究所, コンテンツ科学研究系, 助教 (70804061)
• Project Period (FY): 2017-08-25 – 2019-03-31
• Keywords: フォトメトリックステレオ / 3次元センシング / 最適化アルゴリズム

Outline of Final Research Achievements

In this project, we developed the techniques to enrich the immersive virtual reality contents. Especially, we aimed to recover the detailed 3-d geometry from images to generate the virtually synthetic scenes more physically plausible. We presented the world’s first convolutional-neural-network-based photometric stereo algorithm that can accurately recover the detailed scene geometry. We further published the first large-scale training dataset of the photometric stereo problem. In addition to those achievements, we supplementarily presented the robust deep-learning algorithm to remove outliers in the observation, efficient discrete optimization algorithms and geo-localization algorithm using geo-tag information.

Free Research Field

コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

研究成果において副次的に生成されたソースコードやデータを公開したことの学術的な意義は大きい．データベースは公開後、世界中の研究者によって利用されるに至っている．また，我々は1980年代から続くフォトメトリックステレオ法の研究に対して，新しい概念の提示による技術的進歩，データセットの共有と両方の観点から、大きな影響を与えた．現在でも我々の提案した観測地図と呼ばれる表彰に基づく手法を発展させた研究が発表され続けている．