Physics-based data augmentation using photometry-based 3d reconstruction
| Project/Area Number |
22K17910
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
山藤 浩明 大阪大学, 大学院情報科学研究科, 助教 (40830906)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 反射特性 / BRDF / 3次元復元 / 材質編集 / データ拡張 / コンピュータビジョン / 画像生成 / 機械学習 / ３次元形状復元 |
|---|
| Outline of Research at the Start |
画像中の物体認識などのタスクにおいて，学習データの少ない物体を対象とする場合，推定精度が大きく低下してしまう．とくに植物や廃棄物など，同一の物体であっても汚れや変形，傷などによって見えが大きく変化する物体を対象とする場合に，それらすべてを学習データとして収集することが困難である．そこで本研究では，物体の見えを構成する物理的な要素に着目し，データを拡張する手法を提案する．結果として，収集した少数の観測データをもとに，汚れや変形，傷，光源環境，観測視点の変化など多様な状態変化を網羅する学習データを生成できる．
|
| Outline of Annual Research Achievements |
本年度は主に以下の3つの研究成果が得られた．
1. アクティブ照明を用いた簡便な高精細3次元復元手法: アクティブ照明を用いた3次元復元手法である照度差ステレオ法は微細形状の復元を得意とする一方で，一般に較正済みの照明下で多数の画像を撮影する必要があり撮影コストが高い．このコストを削減する手法の1つに，事前の光源較正を必要としない未較正照度差ステレオ法が挙げられるが，一般に未較正条件下では求められる解に曖昧性が残る，という課題があった．そこで本研究では，対象物体を多視点から観測する際に，光源とカメラが同時に移動する，という条件を用いることで，光源較正が不要でありながら高精細な形状を推定可能な手法を実現した．
2. 偏光イメージングを用いた高精度な形状及び質感推定手法: 一般に物体表面で反射された光は，入射及び反射光の方向と物体表面の質感に応じて偏光状態が変化することが知られている．本研究では，多視点から観測したカラー画像及び偏光情報を入力として，物体の形状，物体表面の質感及び周辺の環境光を同時推定する手法を提案した．
3. 潜在空間埋込みによる質感の時間変化再現手法: 本研究では，物体表面の質感，具体的には入射及び反射光の強さの比を表現する関数である双方向反射率分布関数 (Bidirectional Reflectance Distribution Function; BRDF) の時間変化を再現する手法を提案した．本研究成果に関連した投稿論文は現在査読中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
前述の研究成果のうち，1と2はコンピュータサイエンス分野における最難関会議の1つであるComputer Vision and Pattern Recognition Conference (CVPR)への採録が決定している．また研究成果3については現在投稿論文が査読中である．全体として当初の計画以上の成果が得られた．
|
| Strategy for Future Research Activity |
今年度までの研究において，対象物体の見えを再現するためにとくに重要な形状と質感を推定する手法を確立し，また質感編集に関する手法を提案した．これらの基盤技術をもとに，実世界物体に対して仮想空間上で質感編集を適用する技術の実現し，データ拡張への応用を目指す．
|
Report
(2 results)
Research Products
(4 results)
