2023 Fiscal Year Annual Research Report
非伝統的モデルに基づく画像列からの物体形状・照明解析
| Project/Area Number |
20K11866
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
右田 剛史 岡山大学, 環境生命自然科学学域, 助教 (90362954)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | パラメータ推定 / 画像列 / 非線形最適化 / 照度差ステレオ / レイトレーシング / ニューラルフィールド / Structure from Motion |
|---|
| Outline of Annual Research Achievements |
本研究では，画像列に映った物体の3次元形状や撮影環境のパラメータを推定する手法の高度化を目指している．より具体的には，(a)未校正照度差ステレオ法とStructure from Motionを統合した定式化を用いること，(b)近年のGPUに搭載されるハードウェア支援レイトレーシングを用いること，(c)ニューラルフィールド等のDNNフレームワークを利用した3次元関連の表現法と最適化を導入すること等を含む．
前年度までには(a,b)レイトレーシングに基づくパラメータ推定手法を実現した．レイトレーシングは従来のラスタグラフィックスよりも複雑な光の反射を再現する方法であり，最適化に必要な画像のヤコビ行列を効率的に計算するために，(i)光源位置や物体形状等の画像全体に影響するパラメータについては差分商近似を基本とし，(ii)画像の局所に影響するテクスチャ画素値に関しては疎行列による画像表現を導入した．これらを用いて，大域的パラメータと局所的パラメータを交互に推定することが可能であることを確認した．
最終年度は，テクスチャを(c)ニューラルフィールドによる環境テクスチャに拡張し，環境テクスチャと大域的パラメータの同時推定を実現した．この際，新たな画像表現法を定義した．即ち，レイトレーシングで（画像を直接生成せず）光線追跡結果を中間表現として格納し，DNNフレームワークで画像を完成させる2段階法とした．これにより自動微分が適用可能となり，テクスチャの推定は専用のアルゴリズムを要さず，汎用のDNNの学習に帰着された．
|
