Photogrammetry through co-design of data-driven 3D estimation and imaging systems
| Project/Area Number |
23H05491
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (S)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Broad Section J
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
松下 康之 大阪大学, 大学院情報科学研究科, 教授 (30756507)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大倉 史生 大阪大学, 大学院情報科学研究科, 准教授 (60754223)
山藤 浩明 大阪大学, 大学院情報科学研究科, 助教 (40830906)
|
|---|
| Project Period (FY) |
2023-04-12 – 2028-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥204,360,000 (Direct Cost: ¥157,200,000、Indirect Cost: ¥47,160,000)
Fiscal Year 2024: ¥37,440,000 (Direct Cost: ¥28,800,000、Indirect Cost: ¥8,640,000)
Fiscal Year 2023: ¥50,700,000 (Direct Cost: ¥39,000,000、Indirect Cost: ¥11,700,000)
|
|---|
| Keywords | コンピュータビジョン / 三次元形状推定 / 質感推定 / フォトグラメトリ / 三次元形状復元 |
|---|
| Outline of Research at the Start |
本研究では，カメラを用いた実世界物体の忠実な三次元ディジタル化を目的とし，「データ駆動型アプローチと撮像系の協調設計による革新的なフォトグラメトリ」の確立と体系化に取り組み，誰もが手軽に高品質な三次元ディジタルコンテンツを作成することができる世界の実現を目指す．この中で，物体の大まかな形状（マクロ形状）のみでなく，忠実なディジタル再現に必須である物体表面の可視な微細形状（メゾ形状）及び，反射率を表現するさらに細かな形状（マイクロ形状）を獲得する技術を開発する．また，本研究ではデータ駆動型＋撮像系の協調設計により簡便な撮影機材によって手軽に実世界物体を三次元ディジタル化する技術を確立する．
|
| Outline of Annual Research Achievements |
本研究では，カメラを用いた実世界物体の忠実な三次元ディジタル化を目的とし，データ駆動型アプローチと撮像系の協調設計により，実世界物体からマクロ（大まかな形状）・メゾ（微細形状）・マイクロ（反射率）形状を同時に高精度で取得する革新的なフォトグラメトリ（画像からの三次元形状復元）の確立と体系化を目指している．
2023年度には事前知識データの取得・生成環境の整備と微分可能な仮想撮像系シミュレータの設計に着手した．事前知識データの取得・生成に関しては，照度差ステレオ法やデュアルピクセルセンサのための実測データセットの整備及び，実世界物体からの反射率（BRDF）獲得のためのコンパクトなデバイスの設計を実施した．また，撮像系シミュレータに関連して，強化学習に基づく照明配置，特殊な照明配置に基づく照度差ステレオ法の検討，また，未較正照度差ステレオ法のためのBRDFの深層学習表現について研究を進めた．結果として，コンピュータビジョンやコンピュテーショナルフォトグラフィ分野における主要国際会議であるICCV 2023に二編， ICCP 2023に三編，主要なAIカンファレンスであるIJCAI 2023に一編の論文が採択された．また，前基盤Aからの継続研究で，法線マップの縮退表現であるAzimuthアングルマップは，実環境において比較的容易に獲得可能であることがわかっており，Azimuthアングルマップからの三次元形状推定にも取り組み，その結果はCVPR 2023に採録された．
さらに，2023年9月には岡山県倉敷市にある大原美術館へ訪問し，先方の協力を得て美術品三点の三次元及び質感の計測を実施した．研究室外における計測は初の試みであり，多くの知見を得たとともに，撮影した美術品の三次元デジタル化ができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究は計画通り進捗している．今年度には本研究から，主要国際会議であるCVPR 2023 x 1編, ICCV 2023 x 2編, ICCP 2023 x 3編, IJCAI 2023 x 1編を含む国際会議論文8編，国内会議論文2編を発表した．また，岡山県倉敷市の大原美術館と協力し，美術館が保有する文化財の三次元デジタル化にも着手した．
|
| Strategy for Future Research Activity |
2024年度には，引き続き照度差ステレオ法のための事前知識データの構築に取り組む．また，近年注目を浴びているNeural Implicit Representation基づく三次元表現に着目し，本研究におけるデータ表現手法の1つとして検討を進める．特に，Neural Implicit Representationと照度差ステレオ法の接点と，インバースレンダリングにおけるNeural Implicit Representationについて検討を進める．さらに，実世界では拡散面のみならず，鏡面反射成分を含む物体が多いことから，鏡面反射を含む物体に対して有効な三次元デジタル化（形状と反射率の獲得）技術を進展させる．
|
Report
(3 results)
Research Products
(10 results)
