2023 Fiscal Year Research-status Report
Physics-based data augmentation using photometry-based 3d reconstruction
| Project/Area Number |
22K17910
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
山藤 浩明 大阪大学, 大学院情報科学研究科, 助教 (40830906)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 反射特性 / BRDF / 3次元復元 / 材質編集 |
|---|
| Outline of Annual Research Achievements |
本年度は主に以下の3つの研究成果が得られた．
1. アクティブ照明を用いた簡便な高精細3次元復元手法: アクティブ照明を用いた3次元復元手法である照度差ステレオ法は微細形状の復元を得意とする一方で，一般に較正済みの照明下で多数の画像を撮影する必要があり撮影コストが高い．このコストを削減する手法の1つに，事前の光源較正を必要としない未較正照度差ステレオ法が挙げられるが，一般に未較正条件下では求められる解に曖昧性が残る，という課題があった．そこで本研究では，対象物体を多視点から観測する際に，光源とカメラが同時に移動する，という条件を用いることで，光源較正が不要でありながら高精細な形状を推定可能な手法を実現した．
2. 偏光イメージングを用いた高精度な形状及び質感推定手法: 一般に物体表面で反射された光は，入射及び反射光の方向と物体表面の質感に応じて偏光状態が変化することが知られている．本研究では，多視点から観測したカラー画像及び偏光情報を入力として，物体の形状，物体表面の質感及び周辺の環境光を同時推定する手法を提案した．
3. 潜在空間埋込みによる質感の時間変化再現手法: 本研究では，物体表面の質感，具体的には入射及び反射光の強さの比を表現する関数である双方向反射率分布関数 (Bidirectional Reflectance Distribution Function; BRDF) の時間変化を再現する手法を提案した．本研究成果に関連した投稿論文は現在査読中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
前述の研究成果のうち，1と2はコンピュータサイエンス分野における最難関会議の1つであるComputer Vision and Pattern Recognition Conference (CVPR)への採録が決定している．また研究成果3については現在投稿論文が査読中である．全体として当初の計画以上の成果が得られた．
|
| Strategy for Future Research Activity |
今年度までの研究において，対象物体の見えを再現するためにとくに重要な形状と質感を推定する手法を確立し，また質感編集に関する手法を提案した．これらの基盤技術をもとに，実世界物体に対して仮想空間上で質感編集を適用する技術の実現し，データ拡張への応用を目指す．
|
