• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Photogrammetry through co-design of data-driven 3D estimation and imaging systems

Research Project

Project/Area Number 23H05491
Research Category

Grant-in-Aid for Scientific Research (S)

Allocation TypeSingle-year Grants
Review Section Broad Section J
Research InstitutionThe University of Osaka

Principal Investigator

松下 康之  大阪大学, 大学院情報科学研究科, 招へい教授 (30756507)

Co-Investigator(Kenkyū-buntansha) 山藤 浩明  大阪大学, 大学院情報科学研究科, 助教 (40830906)
大倉 史生  大阪大学, 大学院情報科学研究科, 准教授 (60754223)
Project Period (FY) 2023-04-12 – 2028-03-31
Project Status Granted (Fiscal Year 2025)
Budget Amount *help
¥204,360,000 (Direct Cost: ¥157,200,000、Indirect Cost: ¥47,160,000)
Fiscal Year 2025: ¥49,400,000 (Direct Cost: ¥38,000,000、Indirect Cost: ¥11,400,000)
Fiscal Year 2024: ¥37,440,000 (Direct Cost: ¥28,800,000、Indirect Cost: ¥8,640,000)
Fiscal Year 2023: ¥50,700,000 (Direct Cost: ¥39,000,000、Indirect Cost: ¥11,700,000)
Keywordsコンピュータビジョン / 三次元形状推定 / 質感推定 / フォトグラメトリ / 三次元形状復元
Outline of Research at the Start

本研究では,カメラを用いた実世界物体の忠実な三次元ディジタル化を目的とし,「データ駆動型アプローチと撮像系の協調設計による革新的なフォトグラメトリ」の確立と体系化に取り組み,誰もが手軽に高品質な三次元ディジタルコンテンツを作成することができる世界の実現を目指す.この中で,物体の大まかな形状(マクロ形状)のみでなく,忠実なディジタル再現に必須である物体表面の可視な微細形状(メゾ形状)及び,反射率を表現するさらに細かな形状(マイクロ形状)を獲得する技術を開発する.また,本研究ではデータ駆動型+撮像系の協調設計により簡便な撮影機材によって手軽に実世界物体を三次元ディジタル化する技術を確立する.

Outline of Annual Research Achievements

本研究では,カメラを用いた実世界物体の忠実な三次元ディジタル化を目的とし,データ駆動型アプローチと撮像系の協調設計により,実世界物体からマクロ(大まかな形状)・メゾ(微細形状)・マイクロ(反射率)形状を同時に高精度で取得する革新的なフォトグラメトリ(画像からの三次元形状復元)の確立と体系化を目指している.

2023年度には事前知識データの取得・生成環境の整備と微分可能な仮想撮像系シミュレータの設計に着手した.事前知識データの取得・生成に関しては,照度差ステレオ法やデュアルピクセルセンサのための実測データセットの整備及び,実世界物体からの反射率(BRDF)獲得のためのコンパクトなデバイスの設計を実施した.また,撮像系シミュレータに関連して,強化学習に基づく照明配置,特殊な照明配置に基づく照度差ステレオ法の検討,また,未較正照度差ステレオ法のためのBRDFの深層学習表現について研究を進めた.結果として,コンピュータビジョンやコンピュテーショナルフォトグラフィ分野における主要国際会議であるICCV 2023に二編, ICCP 2023に三編,主要なAIカンファレンスであるIJCAI 2023に一編の論文が採択された.また,前基盤Aからの継続研究で,法線マップの縮退表現であるAzimuthアングルマップは,実環境において比較的容易に獲得可能であることがわかっており,Azimuthアングルマップからの三次元形状推定にも取り組み,その結果はCVPR 2023に採録された.

さらに,2023年9月には岡山県倉敷市にある大原美術館へ訪問し,先方の協力を得て美術品三点の三次元及び質感の計測を実施した.研究室外における計測は初の試みであり,多くの知見を得たとともに,撮影した美術品の三次元デジタル化ができた.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究は計画通り進捗している.今年度には本研究から,主要国際会議であるCVPR 2023 x 1編, ICCV 2023 x 2編, ICCP 2023 x 3編, IJCAI 2023 x 1編を含む国際会議論文8編,国内会議論文2編を発表した.また,岡山県倉敷市の大原美術館と協力し,美術館が保有する文化財の三次元デジタル化にも着手した.

Strategy for Future Research Activity

2024年度には,引き続き照度差ステレオ法のための事前知識データの構築に取り組む.また,近年注目を浴びているNeural Implicit Representation基づく三次元表現に着目し,本研究におけるデータ表現手法の1つとして検討を進める.特に,Neural Implicit Representationと照度差ステレオ法の接点と,インバースレンダリングにおけるNeural Implicit Representationについて検討を進める.さらに,実世界では拡散面のみならず,鏡面反射成分を含む物体が多いことから,鏡面反射を含む物体に対して有効な三次元デジタル化(形状と反射率の獲得)技術を進展させる.

Report

(3 results)
  • 2023 Abstract ( PDF )   Comments on the Screening Results   Annual Research Report
  • Research Products

    (10 results)

All 2023

All Presentation (10 results) (of which Int'l Joint Research: 8 results)

  • [Presentation] Multi-View Azimuth Stereo via Tangent Space Consistency2023

    • Author(s)
      Xu Cao, Hiroaki Santo, Fumio Okura, and Yasuyuki Matsushita
    • Organizer
      IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ReLeaPS : Reinforcement Learning-based Illumination Planning for Generalized Photometric Stereo2023

    • Author(s)
      un Hoong Chan, Bohan Yu, Heng Guo, Jieji Ren, Zongqing Lu, and Boxin Shi
    • Organizer
      IEEE/CVF International Conference on Computer Vision (ICCV)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] DiLiGenT-Pi: Photometric Stereo for Planar Surfaces with Rich Details – Benchmark Dataset and Beyond2023

    • Author(s)
      Feishi Wang, Jieji Ren, Heng Guo, Mingjun Ren, and Boxin Shi
    • Organizer
      IEEE/CVF International Conference on Computer Vision (ICCV)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Learning to Synthesize Photorealistic Dual-pixel Images from RGBD frames2023

    • Author(s)
      Feiran Li, Heng Guo, Hiroaki Santo, Fumio Okura, and Yasuyuki Matsushita
    • Organizer
      IEEE International Conference on Computational Photography (ICCP)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Compact BRDF Scanner with Multi-conjugate Optics2023

    • Author(s)
      Kensuke Uchida, Hajime Nagahara, and Yasuyuki Matsushita
    • Organizer
      IEEE International Conference on Computational Photography (ICCP)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Near-light Photometric Stereo with Symmetric Lights2023

    • Author(s)
      Lilika Makabe, Heng Guo, Hiroaki Santo, Fumio Okura, and Yasuyuki Matsushita
    • Organizer
      IEEE International Conference on Computational Photography (ICCP)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Non-Lambertian Multispectral Photometric Stereo via Spectral Reflectance Decomposition2023

    • Author(s)
      Jipeng Lv, Heng Guo, Guanying Chen, Jinxiu Liang, and Boxin Shi
    • Organizer
      International Joint Conference on Artificial Intelligence (IJCAI)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Neural BRDF Plugin for Unsupervised Photometric Stereo2023

    • Author(s)
      Heng Guo, Boxin Shi, and Yasuyuki Matsushita
    • Organizer
      IEEE International Conference on Network Intelligence and Digital Content
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Dual Pixelセンサを用いたStructure from Motionのスケール推定2023

    • Author(s)
      芦田光平,山藤浩明,大倉史生,松下康之
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] 微分可能レンダリングによる実物体のBRDF推定2023

    • Author(s)
      石井将太,山藤浩明,大倉史生,松下康之
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2023 Annual Research Report

URL: 

Published: 2023-04-13   Modified: 2025-06-20  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi