非伝統的モデルに基づく画像列からの物体形状・照明解析
| Project/Area Number |
20K11866
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
右田 剛史 岡山大学, 環境生命自然科学学域, 助教 (90362954)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
|
|---|
| Keywords | パラメータ推定 / 画像列 / 非線形最適化 / 照度差ステレオ / レイトレーシング / ニューラルフィールド / Structure from Motion / GPU / 逆問題 / 未校正照度差ステレオ法 / ３次元形状復元 / 物体形状復元 / 画像生成モデル |
|---|
| Outline of Research at the Start |
本研究では，画像列に映った物体の3次元形状を推定する形状復元法（未校正照度差ステレオ法）の高度化を目指す．基本的には，計算機上で生成されたCG画像と物理的に撮影された画像を一致させるようにCGのパラメータを推定することで，物体の形状や色彩と光源等の環境要因を分離する，この際，近年発展の著しいCG技術や，深層学習技術等を利用可能な枠組みの構築を検討する．環境の影響を受けずに物体の情報を安定に得ることは，様々な応用において有用である．
|
| Outline of Annual Research Achievements |
本研究では，画像列に映った物体の3次元形状や撮影環境のパラメータを推定する手法の高度化を目指している．より具体的には，(a)未校正照度差ステレオ法とStructure from Motionを統合した定式化を用いること，(b)近年のGPUに搭載されるハードウェア支援レイトレーシングを用いること，(c)ニューラルフィールド等のDNNフレームワークを利用した3次元関連の表現法と最適化を導入すること等を含む．
前年度までには(a,b)レイトレーシングに基づくパラメータ推定手法を実現した．レイトレーシングは従来のラスタグラフィックスよりも複雑な光の反射を再現する方法であり，最適化に必要な画像のヤコビ行列を効率的に計算するために，(i)光源位置や物体形状等の画像全体に影響するパラメータについては差分商近似を基本とし，(ii)画像の局所に影響するテクスチャ画素値に関しては疎行列による画像表現を導入した．これらを用いて，大域的パラメータと局所的パラメータを交互に推定することが可能であることを確認した．
最終年度は，テクスチャを(c)ニューラルフィールドによる環境テクスチャに拡張し，環境テクスチャと大域的パラメータの同時推定を実現した．この際，新たな画像表現法を定義した．即ち，レイトレーシングで（画像を直接生成せず）光線追跡結果を中間表現として格納し，DNNフレームワークで画像を完成させる2段階法とした．これにより自動微分が適用可能となり，テクスチャの推定は専用のアルゴリズムを要さず，汎用のDNNの学習に帰着された．
|
Report
(4 results)
Research Products
(4 results)
