High-fidelity 3D reconstruction based on geometric and photometric modeling

2022 Fiscal Year Final Research Report

• Project/Area Number: 21K21286
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: Osaka University
• Principal Investigator: Santo Hiroaki 大阪大学, 大学院情報科学研究科, 助教 (40830906)
• Project Period (FY): 2021-08-30 – 2023-03-31
• Keywords: 3次元復元 / デジタルアーカイブ / 照度差ステレオ法 / 多視点ステレオ法

Outline of Final Research Achievements

3D reconstruction from images is a fundamental problem in computer vision. This research project focuses on high-fidelity 3D reconstruction by combining two distinct approaches: (1) photometric stereo, which observes a target scene from a fixed viewpoint under varying lighting conditions to estimate the scene shape based on shading information, and (2) multi-view stereo, which observes a target scene from different viewpoints and recovers the 3D shape through triangulation. Photometric stereo can estaimate detailed shapes, while multi-view stereo excels in capturing global shapes. By integrating these approaches, the proposed method can achieve highly accurate and detailed shape estimation.

Free Research Field

コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

3次元復元技術は，ロボットによる周辺環境認識や，製造ラインにおける外観検査，貴重な文化財などの形状をデジタルデータとして保存するデジタルアーカイブ化など様々なアプリケーションでの活用が期待される．令和4年に改正された博物館法では，資料のデジタルアーカイブ化が博物館の事業の1つとして位置づけられ，資料のデジタルデータとしての保存とインターネットを通じた活用を積極的に推進していく姿勢が示されており，彫刻や土器などの立体作品のデジタルアーカイブ化には，とくに高精細な3次元復元技術が不可欠である．本研究課題で提案した，簡便かつ高精度な3次元復元技術はこうしたアプリケーションでの活用が期待される．