• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

High-fidelity 3D reconstruction based on physics-based modeling

Research Project

Project/Area Number 19J10326
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionOsaka University

Principal Investigator

山藤 浩明  大阪大学, 情報科学研究科, 特別研究員(DC2)

Project Period (FY) 2019-04-25 – 2021-03-31
Project Status Completed (Fiscal Year 2020)
Budget Amount *help
¥2,100,000 (Direct Cost: ¥2,100,000)
Fiscal Year 2020: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2019: ¥1,100,000 (Direct Cost: ¥1,100,000)
Keywordsコンピュータビジョン / 機械学習 / 3次元形状復元 / 深層学習 / 照度差ステレオ / BRDF
Outline of Research at the Start

本研究では,対象物体を異なる光源環境下で撮影した複数枚の画像を用いて,画像内の陰影情報から物体の3次元形状を推定する,照度差ステレオ法を対象とする.照度差ステレオ法は撮影画像のピクセルごとに形状を推定できるため,対象物体を多視点から撮影し幾何的に3次元形状を推定する多眼ステレオ法などに比べて,微細形状の推定を得意とする.
本研究では,とくに深層学習の枠組みを導入し,対象物体を撮影する光源環境の事前の較正(キャリブレーション)を必要としない,未較正照度差ステレオ法の提案を行う.このことにより,照度差ステレオ法の実用的な応用を容易にすることを目指す.

Outline of Annual Research Achievements

光を用いた高精細な3次元形状復元を実現するために,下記の2つの観点から研究を推進した.本研究ではとくに,固定されたカメラと複数の光源を用いて,光源環境を変化させながら撮影した複数枚の画像から物体形状を推定する,照度差ステレオ法を用いる.
(1)多くの既存の照度差ステレオ法では,対象物体の3次元形状を獲得することを目的に,物体表面の傾き,すなわち法線方向の推定する.一方でバーチャルリアリティなどへの応用を考えると,物体の"見え"を再現するためには,形状に加えて反射特性を推定することが必要である.そこで本研究では,これまでの深層学習に基づく照度差ステレオ法を拡張し,形状と反射特性の同時推定を実現した.結果として,対象物体の"見え"を任意の光源環境下で再現することができる.本研究成果は著名な国際論文誌であるIEEE Transactions on Pattern Analysis and Machine Intelligence (IF: 17.8)に採録決定済みである.
(2)既存の多くの照度差ステレオ法では,対象物体を撮影する光源環境に関して,点光源が無限遠に存在し,対象物体は平行光線をうける,と仮定してきた.しかし,実環境において無限遠光源を実現することは不可能であり,高精度な推定の実現には,近接点光源による影響を考慮することが重要である.この観点から,これまでの深層学習を用いた(無限遠光源を仮定する)照度差ステレオ法の,近接光源環境への拡張を行った.結果として,従来の近接光源を仮定した照度差ステレオ法では扱うことが困難であった様々な反射特性を持つ材質の物体に対して,高精度な推定が可能な手法を実現した.本研究成果は著名な国際会議であるEuropean Conference on Computer Vision (h-index: 144)において発表したものである.

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • Research Products

    (6 results)

All 2020 2019 Other

All Journal Article (2 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (3 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results) Remarks (1 results)

  • [Journal Article] Deep Photometric Stereo Networks for Determining Surface Normal and Reflectances2020

    • Author(s)
      Santo Hiroaki、Samejima Masaki、Sugano Yusuke、Shi Boxin、Matsushita Yasuyuki
    • Journal Title

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      Volume: 1 Issue: 1 Pages: 1-1

    • DOI

      10.1109/tpami.2020.3005219

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Light structure from pin motion: Geometric point light source calibration2020

    • Author(s)
      Hiroaki Santo, Michael Waechter, Wen-Yan Lin, Yusuke Sugano, Yasuyuki Matsushita
    • Journal Title

      International Journal of Computer Vision (IJCV)

      Volume: - Issue: 7 Pages: 1889-1912

    • DOI

      10.1007/s11263-020-01312-3

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Deep Near-Light Photometric Stereo for Spatially Varying Reflectances2020

    • Author(s)
      Santo Hiroaki、Waechter Michael、Matsushita Yasuyuki
    • Organizer
      European Conference on Computer Vision
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Light Structure from Pin Motion: Simple and Accurate Point Light Calibration for Physics-based Modeling2019

    • Author(s)
      山藤 浩明, Michael Waechter, 鮫島 正樹, 菅野 裕介, 松下 康之
    • Organizer
      第22回画像の認識・理解シンポジウム
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] Light Structure from Pin Motion: Simple and Accurate Point Light Calibration for Physics-based Modeling2019

    • Author(s)
      Hiroaki Santo, Michael Waechter, Masaki Samejima, Yusuke Sugano, Yasuyuki Matsushita
    • Organizer
      IEEE International Conference on Computational Photography
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Remarks] Deep near-light photometric stereo

    • URL

      https://github.com/hiroaki-santo/deep-near-light-photometric-stereo

    • Related Report
      2020 Annual Research Report

URL: 

Published: 2019-05-29   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi