• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

形状・照明・反射率を含めた環境全体の高精細3次元復元

Research Project

Project/Area Number 17H00744
Research InstitutionTokyo Institute of Technology

Principal Investigator

奥富 正敏  東京工業大学, 工学院, 教授 (00262303)

Co-Investigator(Kenkyū-buntansha) 岡部 孝弘  九州工業大学, 大学院情報工学研究院, 教授 (00396904)
Project Period (FY) 2017-04-01 – 2021-03-31
Keywordsコンピュータビジョン
Outline of Annual Research Achievements

本研究の目的は,異なる時刻・視点で撮影された画像から,カメラ・物体の3次元幾何情報とともに,撮影時の光源分布と物体の表面反射率の推定を行うMulti-View Inverse Rendering (MVIR)を格段に発展させることにある.
本年度は,プロジェクトの最終年度として,段階的に設定した4つのテーマ「スケーラブルMVIR」「フォト・ジオメトリックバンドル調整」「光源モデルの拡張」「反射率モデルの拡張」の研究を発展・統合した.また,新たなアプローチとして,分光MVIRおよび偏光MVIRの,2つのMVIR手法を開発した.
分光MVIRでは,これまでに提案した近接光源モデルおよび分光スペクトルモデルをベースとして,物体形状・物体分光反射率・光源位置をMVIRの枠組みで同時最適化する手法を開発した.これにより,汎用のLED光源やプロジェクタを用いて,光源位置未知の状況下においても,高精度に物体形状および物体固有の表面分光反射率が推定可能となった.
偏光MVIRでは,近年容易に得られるようになりつつあるワンショット偏光カメラを活用し,物体反射光の偏光情報から得られる物体表面法線に関する制約をMVIRに加えることで,これまでのMVIRより高精細な物体形状を得られる手法を開発した.偏光MVIRの最適化において,偏光の方位角の曖昧性を考慮した新たなコスト関数を提案することで,対象物体の材質に制約のない手法を開発した.
これらの研究成果は,ECCVやICCPなどの,コンピュータビジョン・コンピュテーショナルフォトグラフィ分野の国際会議・ジャーナル等で発表を行った.

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

  • Research Products

    (20 results)

All 2022 2021 2020 Other

All Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (16 results) (of which Int'l Joint Research: 12 results,  Invited: 1 results) Remarks (1 results)

  • [Journal Article] Pro-Cam SSfM: projector-camera system for structure and spectral reflectance from motion2022

    • Author(s)
      Li Chunyu、Monno Yusuke、Okutomi Masatoshi
    • Journal Title

      The Visual Computer

      Volume: - Pages: -

    • DOI

      10.1007/s00371-022-02434-0

    • Peer Reviewed
  • [Journal Article] Long-Term Visual Localization Revisited2022

    • Author(s)
      Toft Carl、Maddern Will、Torii Akihiko、Hammarstrand Lars、Stenborg Erik、Safari Daniel、Okutomi Masatoshi、Pollefeys Marc、Sivic Josef、Pajdla Tomas、Kahl Fredrik、Sattler Torsten
    • Journal Title

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      Volume: 44 Pages: 2074~2088

    • DOI

      10.1109/TPAMI.2020.3032010

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Stomach 3D Reconstruction Using Virtual Chromoendoscopic Images2021

    • Author(s)
      Widya Aji Resindra、Monno Yusuke、Okutomi Masatoshi、Suzuki Sho、Gotoda Takuji、Miki Kenji
    • Journal Title

      IEEE Journal of Translational Engineering in Health and Medicine

      Volume: 9 Pages: 1700211-1~11

    • DOI

      10.1109/JTEHM.2021.3062226

    • Peer Reviewed / Open Access
  • [Presentation] Online Illumination Planning for Shadow-Robust Photometric Stereo2022

    • Author(s)
      Hirochika Tanikawa, Ryo Kawahara, and Takahiro Okabe
    • Organizer
      the 28th International Workshop on Frontiers of Computer Vision (IW-FCV2022)
    • Int'l Joint Research
  • [Presentation] Self-Supervised Ego-Motion Estimation Based on Multi-Layer Fusion of RGB and Inferred Depth2022

    • Author(s)
      Zijie Jiang, Hajime Taira, Naoyuki Miyashita and Masatoshi Okutomi
    • Organizer
      IEEE International Conference on Robotics and Automation (ICRA2022)
    • Int'l Joint Research
  • [Presentation] Deep Hyperspectral-Depth Reconstruction Using Single Color-Dot Projection2022

    • Author(s)
      Chunyu Li, Yusuke Monno and Masatoshi Okutomi
    • Organizer
      IEEE Conference on Computer Vision and Pattern Recognition (CVPR2022)
    • Int'l Joint Research
  • [Presentation] カラー画像と推定深度画像の Multi-Layer Fusion に基づく自己教師あり学習による Ego-Motion 推定2022

    • Author(s)
      蒋 子傑, 田平 創, 宮下尚之, 奥富正敏
    • Organizer
      第28回画像センシングシンポジウム(SSII2022)
  • [Presentation] マルチビューインバースレンダリングによる高精細な3D形状と分光反射率の同時推定2022

    • Author(s)
      李 淳雨, 紋野雄介, 奥富正敏
    • Organizer
      第28回画像センシングシンポジウム(SSII2022)
  • [Presentation] Self-supervised monocular depth estimation in gastroendoscopy using GAN-augmented images2021

    • Author(s)
      Aji Resindra Widya, Yusuke Monno, Masatoshi Okutomi, Sho Suzuki, Takuji Gotoda and Kenji Miki
    • Organizer
      SPIE Medical Imaging
    • Int'l Joint Research
  • [Presentation] VIO-Aided Structure from Motion Under Challenging Environments2021

    • Author(s)
      Zijie Jiang, Hajime Taira, Naoyuki Miyashita and Masatoshi Okutomi
    • Organizer
      the 22nd IEEE International Conference on Industrial Technology (ICIT2021)
    • Int'l Joint Research
  • [Presentation] Spectral MVIR: Joint Reconstruction of 3D Shape and Spectral Reflectance2021

    • Author(s)
      Chunyu Li, Yusuke Monno and Masatoshi Okutomi
    • Organizer
      IEEE International Conference on Computational Photography (ICCP2021)
    • Int'l Joint Research
  • [Presentation] Polarimetric MVIR: カラー偏光画像を用いたマルチビューインバースレンダリングによる高精細3次元復元2021

    • Author(s)
      趙 金雨, 紋野雄介, 奥富正敏
    • Organizer
      第27回画像センシングシンポジウム(SSII2021)
  • [Presentation] Video-Based Camera Localization Using Anchor View Detection and Recursive 3D Reconstruction2021

    • Author(s)
      Hajime Taira, Koki Onbe, Naoyuki Miyashita and Masatoshi Okutomi
    • Organizer
      the 17th International Conference on Machine Vision Applications (MVA2021)
    • Int'l Joint Research
  • [Presentation] Illumination Planning for Measuring Per-Pixel Surface Roughness2021

    • Author(s)
      Kota Arieda and Takahiro Okabe
    • Organizer
      the 17th International Conference on Machine Vision Applications (MVA2021)
    • Int'l Joint Research
  • [Presentation] Learning-Based Depth and Pose Estimation for Monocular Endoscope with Loss Generalization2021

    • Author(s)
      Aji Resindra Widya, Yusuke Monno, Masatoshi Okutomi, Sho Suzuki, Takuji Gotoda and Kenji Miki
    • Organizer
      the 43rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2021)
    • Int'l Joint Research
  • [Presentation] Polarimetric Multi-view Inverse Rendering2020

    • Author(s)
      Jinyu Zhao, Yusuke Monno and Masatoshi Okutomi
    • Organizer
      16th European Conference on Computer Vision (ECCV2020)
    • Int'l Joint Research
  • [Presentation] Pro-Cam SSfM: Projector-Camera System for Structure and Spectral Reflectance from Motion2020

    • Author(s)
      Chunyu Li, Yusuke Monno, Hironori Hidaka and Masatoshi Okutomi
    • Organizer
      第23回画像の認識・理解シンポジウム (MIRU2020)
    • Invited
  • [Presentation] 3D Model Reconstruction of Whole Stomach from Standard Endoscope Video2020

    • Author(s)
      Sho Suzuki, Kenji Miki, Takuji Gotoda, Aji Resindra Widya, Yusuke Monno, Masatoshi Okutomi
    • Organizer
      the International Digestive Disease Forum (IDDF2020)
    • Int'l Joint Research
  • [Presentation] Spectral Reflectance Estimation Using Projector with Unknown Spectral Power Distribution2020

    • Author(s)
      Hironori Hidaka, Yusuke Monno and Masatoshi Okutomi
    • Organizer
      the Twenty-eighth Color and Imaging Conference (CIC28)
    • Int'l Joint Research
  • [Remarks] 奥富研究室ホームページ

    • URL

      http://www.ok.sc.e.titech.ac.jp/index-j.shtml

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi