Construction of a 4D matching model considering occlusion for a light field camera

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K11887
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Tottori University
• Principal Investigator: Mishiba Kazu 鳥取大学, 工学研究科, 准教授 (40609038)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: ライトフィールド / 奥行き推定 / 視差推定

Outline of Final Research Achievements

The objective of this research project was to construct a matching model in a light-field camera that takes occlusion into account in 4D space and to clarify its properties.
Finally, the disparity estimation model obtained in this study was designed not to take occlusion into account directly, but to take it into account indirectly by handling two 4D data sets. Specifically, the final estimation results were obtained by performing a fast matching without considering occlusion and applying a new weighted median filter algorithm for the 4D data to the output.
Based on the model obtained in this study, it is expected that a higher-performance model that handles two sets of 4D data will be developed.

Free Research Field

画像処理

Academic Significance and Societal Importance of the Research Achievements

研究成果の学術的意義は、ライトフィールドカメラにおける新たなマッチングモデルを構築し、その性能を明らかにしたことである。この成果は、ライトフィールド画像を含む多次元の画像処理研究における基盤となることが期待できる。
研究成果の社会的意義は、この成果が高品質なVR/AR体験の実現や自動運転車の安全性向上など、生活を豊かにする様々な応用に繋がる可能性があることである。視差の正確な推定は、画像の立体的な情報を正確に把握し、それを用いてより自然な視覚体験を提供するために不可欠である。この研究の成果が、それらの実現の一部となることが期待される。