High-fidelity 3D reconstruction based on physics-based modeling
| Project/Area Number |
19J10326
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
山藤 浩明 大阪大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2019-04-25 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥2,100,000 (Direct Cost: ¥2,100,000)
Fiscal Year 2020: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2019: ¥1,100,000 (Direct Cost: ¥1,100,000)
|
|---|
| Keywords | コンピュータビジョン / 機械学習 / 3次元形状復元 / 深層学習 / 照度差ステレオ / BRDF |
|---|
| Outline of Research at the Start |
本研究では，対象物体を異なる光源環境下で撮影した複数枚の画像を用いて，画像内の陰影情報から物体の3次元形状を推定する，照度差ステレオ法を対象とする．照度差ステレオ法は撮影画像のピクセルごとに形状を推定できるため，対象物体を多視点から撮影し幾何的に3次元形状を推定する多眼ステレオ法などに比べて，微細形状の推定を得意とする．
本研究では，とくに深層学習の枠組みを導入し，対象物体を撮影する光源環境の事前の較正(キャリブレーション)を必要としない，未較正照度差ステレオ法の提案を行う．このことにより，照度差ステレオ法の実用的な応用を容易にすることを目指す．
|
| Outline of Annual Research Achievements |
光を用いた高精細な3次元形状復元を実現するために，下記の2つの観点から研究を推進した．本研究ではとくに，固定されたカメラと複数の光源を用いて，光源環境を変化させながら撮影した複数枚の画像から物体形状を推定する，照度差ステレオ法を用いる．
(1)多くの既存の照度差ステレオ法では，対象物体の3次元形状を獲得することを目的に，物体表面の傾き，すなわち法線方向の推定する．一方でバーチャルリアリティなどへの応用を考えると，物体の"見え"を再現するためには，形状に加えて反射特性を推定することが必要である．そこで本研究では，これまでの深層学習に基づく照度差ステレオ法を拡張し，形状と反射特性の同時推定を実現した．結果として，対象物体の"見え"を任意の光源環境下で再現することができる．本研究成果は著名な国際論文誌であるIEEE Transactions on Pattern Analysis and Machine Intelligence (IF: 17.8)に採録決定済みである．
(2)既存の多くの照度差ステレオ法では，対象物体を撮影する光源環境に関して，点光源が無限遠に存在し，対象物体は平行光線をうける，と仮定してきた．しかし，実環境において無限遠光源を実現することは不可能であり，高精度な推定の実現には，近接点光源による影響を考慮することが重要である．この観点から，これまでの深層学習を用いた(無限遠光源を仮定する)照度差ステレオ法の，近接光源環境への拡張を行った．結果として，従来の近接光源を仮定した照度差ステレオ法では扱うことが困難であった様々な反射特性を持つ材質の物体に対して，高精度な推定が可能な手法を実現した．本研究成果は著名な国際会議であるEuropean Conference on Computer Vision (h-index: 144)において発表したものである．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(6 results)
