Realization of 3D structure recovery from motion and shading based on free energy principle

Research Project

Project/Area Number	25K15178
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61010:Perceptual information processing-related
Research Institution	Tokyo Metropolitan University
Principal Investigator	田川憲男東京都立大学, システムデザイン研究科, 教授 (00244418)
Project Period (FY)	2025-04-01 – 2028-03-31
Project Status	Granted (Fiscal Year 2025)
Budget Amount *help	¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000) Fiscal Year 2027: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000) Fiscal Year 2026: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000) Fiscal Year 2025: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Keywords	デプス復元 / Structure from motion / Structure from shading / 変分ベイズ推論
Outline of Research at the Start	本研究では、連続する２フレーム画像からのデプス復元を扱う、SfMとSfSの統合法、手続き計算型モデルの有するデータポイント最適化特性と回帰計算型モデルの有するアモート化推論特性の融合手法を構築する。計算の基本原理には自由エネルギー原理を用い、手続き計算型はBBVIに基づく変分ベイズアルゴリズムとして実現し、回帰計算型は VAEを基本としながら誤差関数に画像生成モデルを活用することで、カメラ運動や光源情報をパラメータとする逐次学習型アルゴリズムとして実装する。SfMとSfSの統合は、入力画像の陰影画像とアルベド画像への分解に基づく新たな方式として構築し、両キューの同時最適活用を実現する。