• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

形状・照明・反射率を含めた環境全体の高精細3次元復元

研究課題

研究課題/領域番号 17H00744
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
研究分野 知覚情報処理
研究機関東京工業大学

研究代表者

奥富 正敏  東京工業大学, 工学院, 教授 (00262303)

研究分担者 岡部 孝弘  九州工業大学, 大学院情報工学研究院, 教授 (00396904)
鳥居 秋彦  東京工業大学, 工学院, 助教 (20585179)
研究期間 (年度) 2017-04-01 – 2021-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
44,330千円 (直接経費: 34,100千円、間接経費: 10,230千円)
2020年度: 11,180千円 (直接経費: 8,600千円、間接経費: 2,580千円)
2019年度: 12,480千円 (直接経費: 9,600千円、間接経費: 2,880千円)
2018年度: 12,480千円 (直接経費: 9,600千円、間接経費: 2,880千円)
2017年度: 8,190千円 (直接経費: 6,300千円、間接経費: 1,890千円)
キーワードマルチビューインバースレンダリング / 3次元復元 / 光源推定 / 反射率推定 / コンピュータビジョン / コンピュータービジョン
研究成果の概要

多視点で撮影された画像からシーンの3D形状・光源分布・反射率を同時推定するマルチビューインバースレンダリング (MVIR)の発展研究を実施した。代表的な成果として、分光MVIRおよび偏光MVIRの新たなMVIR手法を開発した。
分光MVIRでは、分光スペクトルモデルに基づき、汎用のLED光源やプロジェクタとRGBカメラを用いて、高精度に物体の形状および分光反射率を推定可能な手法を開発した。偏光MVIRでは、偏光カメラを活用し、物体反射光の偏光情報から得られる表面法線に関する制約に基づき、従来MVIRより高精細な物体形状を得られる手法を開発した。
得られた成果は、主要国際会議等で発表した。

研究成果の学術的意義や社会的意義

画像を用いた3次元復元は、コンピュータビジョンの中核を担う研究課題である。本研究では、これまで独立に発展を続けてきた幾何学的3次元復元および光学的3次元復元を融合し、シーンの3D形状・光源分布・反射率を同時推定するマルチビューインバースレンダリング (MVIR)手法を確立・発展させた点に学術的な意義がある。
MVIRは画像に含まれる幾何学的および光学的特徴を最大限活かし、シーン全体の高精度な復元を実現する手法であるため、常に高度化が求められている3次元計測技術において、多岐にわたる分野での応用が期待される。

報告書

(5件)
  • 2021 研究成果報告書 ( PDF )
  • 2020 実績報告書
  • 2019 実績報告書
  • 2018 実績報告書
  • 2017 実績報告書
  • 研究成果

    (53件)

すべて 2022 2021 2020 2019 2018 2017 その他

すべて 雑誌論文 (7件) (うち国際共著 3件、 査読あり 7件、 オープンアクセス 3件) 学会発表 (45件) (うち国際学会 22件、 招待講演 3件) 備考 (1件)

  • [雑誌論文] Pro-Cam SSfM: projector-camera system for structure and spectral reflectance from motion2022

    • 著者名/発表者名
      Li Chunyu、Monno Yusuke、Okutomi Masatoshi
    • 雑誌名

      The Visual Computer

      巻: -

    • DOI

      10.1007/s00371-022-02434-0

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Long-Term Visual Localization Revisited2022

    • 著者名/発表者名
      Toft Carl、Maddern Will、Torii Akihiko、Hammarstrand Lars、Stenborg Erik、Safari Daniel、Okutomi Masatoshi、Pollefeys Marc、Sivic Josef、Pajdla Tomas、Kahl Fredrik、Sattler Torsten
    • 雑誌名

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      巻: 44 号: 4 ページ: 2074-2088

    • DOI

      10.1109/tpami.2020.3032010

    • 関連する報告書
      2020 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Stomach 3D Reconstruction Using Virtual Chromoendoscopic Images2021

    • 著者名/発表者名
      Widya Aji Resindra、Monno Yusuke、Okutomi Masatoshi、Suzuki Sho、Gotoda Takuji、Miki Kenji
    • 雑誌名

      IEEE Journal of Translational Engineering in Health and Medicine

      巻: 9 ページ: 1-11

    • DOI

      10.1109/jtehm.2021.3062226

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Whole Stomach 3D Reconstruction and Frame Localization from Monocular Endoscope Video2019

    • 著者名/発表者名
      Widya Aji Resindra、Monno Yusuke、Okutomi Masatoshi、Suzuki Sho、Gotoda Takuji、Miki Kenji
    • 雑誌名

      IEEE Journal of Translational Engineering in Health and Medicine

      巻: 7 ページ: 1-10

    • DOI

      10.1109/jtehm.2019.2946802

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Are Large-Scale 3D Models Really Necessary for Accurate Visual Localization?2019

    • 著者名/発表者名
      Torii Akihiko、Taira Hajime、Sivic Josef、Pollefeys Marc、Okutomi Masatoshi、Pajdla Tomas、Sattler Torsten
    • 雑誌名

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      巻: - 号: 3 ページ: 814-829

    • DOI

      10.1109/tpami.2019.2941876

    • 関連する報告書
      2019 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] InLoc: Indoor Visual Localization with Dense Matching and View Synthesis2019

    • 著者名/発表者名
      Taira Hajime、Okutomi Masatoshi、Sattler Torsten、Cimpoi Mircea、Pollefeys Marc、Sivic Josef、Pajdla Tomas、Torii Akihiko
    • 雑誌名

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      巻: - 号: 4 ページ: 1293-1307

    • DOI

      10.1109/tpami.2019.2952114

    • 関連する報告書
      2019 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Structure from motion using dense CNN features with keypoint relocalization2018

    • 著者名/発表者名
      Widya Aji Resindra、Torii Akihiko、Okutomi Masatoshi
    • 雑誌名

      IPSJ Transactions on Computer Vision and Applications

      巻: 10 号: 1

    • DOI

      10.1186/s41074-018-0042-y

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Online Illumination Planning for Shadow-Robust Photometric Stereo2022

    • 著者名/発表者名
      Hirochika Tanikawa, Ryo Kawahara, and Takahiro Okabe
    • 学会等名
      the 28th International Workshop on Frontiers of Computer Vision (IW-FCV2022)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Self-Supervised Ego-Motion Estimation Based on Multi-Layer Fusion of RGB and Inferred Depth2022

    • 著者名/発表者名
      Zijie Jiang, Hajime Taira, Naoyuki Miyashita and Masatoshi Okutomi
    • 学会等名
      IEEE International Conference on Robotics and Automation (ICRA2022)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Deep Hyperspectral-Depth Reconstruction Using Single Color-Dot Projection2022

    • 著者名/発表者名
      Chunyu Li, Yusuke Monno and Masatoshi Okutomi
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition (CVPR2022)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] カラー画像と推定深度画像の Multi-Layer Fusion に基づく自己教師あり学習による Ego-Motion 推定2022

    • 著者名/発表者名
      蒋 子傑, 田平 創, 宮下尚之, 奥富正敏
    • 学会等名
      第28回画像センシングシンポジウム(SSII2022)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] マルチビューインバースレンダリングによる高精細な3D形状と分光反射率の同時推定2022

    • 著者名/発表者名
      李 淳雨, 紋野雄介, 奥富正敏
    • 学会等名
      第28回画像センシングシンポジウム(SSII2022)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Self-supervised monocular depth estimation in gastroendoscopy using GAN-augmented images2021

    • 著者名/発表者名
      Aji Resindra Widya, Yusuke Monno, Masatoshi Okutomi, Sho Suzuki, Takuji Gotoda and Kenji Miki
    • 学会等名
      SPIE Medical Imaging
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] VIO-Aided Structure from Motion Under Challenging Environments2021

    • 著者名/発表者名
      Zijie Jiang, Hajime Taira, Naoyuki Miyashita and Masatoshi Okutomi
    • 学会等名
      the 22nd IEEE International Conference on Industrial Technology (ICIT2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Spectral MVIR: Joint Reconstruction of 3D Shape and Spectral Reflectance2021

    • 著者名/発表者名
      Chunyu Li, Yusuke Monno and Masatoshi Okutomi
    • 学会等名
      IEEE International Conference on Computational Photography (ICCP2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Polarimetric MVIR: カラー偏光画像を用いたマルチビューインバースレンダリングによる高精細3次元復元2021

    • 著者名/発表者名
      趙 金雨, 紋野雄介, 奥富正敏
    • 学会等名
      第27回画像センシングシンポジウム(SSII2021)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Video-Based Camera Localization Using Anchor View Detection and Recursive 3D Reconstruction2021

    • 著者名/発表者名
      Hajime Taira, Koki Onbe, Naoyuki Miyashita and Masatoshi Okutomi
    • 学会等名
      the 17th International Conference on Machine Vision Applications (MVA2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Illumination Planning for Measuring Per-Pixel Surface Roughness2021

    • 著者名/発表者名
      Kota Arieda and Takahiro Okabe
    • 学会等名
      the 17th International Conference on Machine Vision Applications (MVA2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Learning-Based Depth and Pose Estimation for Monocular Endoscope with Loss Generalization2021

    • 著者名/発表者名
      Aji Resindra Widya, Yusuke Monno, Masatoshi Okutomi, Sho Suzuki, Takuji Gotoda and Kenji Miki
    • 学会等名
      the 43rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Polarimetric Multi-view Inverse Rendering2020

    • 著者名/発表者名
      Jinyu Zhao, Yusuke Monno and Masatoshi Okutomi
    • 学会等名
      16th European Conference on Computer Vision (ECCV2020)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Pro-Cam SSfM: Projector-Camera System for Structure and Spectral Reflectance from Motion2020

    • 著者名/発表者名
      Chunyu Li, Yusuke Monno, Hironori Hidaka and Masatoshi Okutomi
    • 学会等名
      第23回画像の認識・理解シンポジウム (MIRU2020)
    • 関連する報告書
      2020 実績報告書
    • 招待講演
  • [学会発表] 3D Model Reconstruction of Whole Stomach from Standard Endoscope Video2020

    • 著者名/発表者名
      Sho Suzuki, Kenji Miki, Takuji Gotoda, Aji Resindra Widya, Yusuke Monno, Masatoshi Okutomi
    • 学会等名
      the International Digestive Disease Forum (IDDF2020)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Spectral Reflectance Estimation Using Projector with Unknown Spectral Power Distribution2020

    • 著者名/発表者名
      Hironori Hidaka, Yusuke Monno and Masatoshi Okutomi
    • 学会等名
      the Twenty-eighth Color and Imaging Conference (CIC28)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Inverse Lighting from Cast Shadows Under Unknown Radiometric Response Function2020

    • 著者名/発表者名
      Takuto Nakashima, Ryo Matsuoka, Takahiro Okabe
    • 学会等名
      International Workshop on Frontiers of Computer Vision (IW-FCV2020)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 内視鏡画像を基にした胃の3次元モデル表示法の開発2020

    • 著者名/発表者名
      鈴木翔, 三木健司, 後藤田卓志, Widya Aji Resindra, 紋野雄介, 奥富 正敏
    • 学会等名
      第16回日本消化管学会総会学術集会 ワークショップ11
    • 関連する報告書
      2019 実績報告書
  • [学会発表] カメラ応答関数未知の影に基づくインバースライティング2020

    • 著者名/発表者名
      中島拓人, 松岡諒, 岡部孝弘
    • 学会等名
      電子情報通信学会技術研究報告, PRMU2019-77
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 3D Pipe Network Reconstruction Based on Structure from Motion with Incremental Conic Shape Detection and Cylindrical Constraint2020

    • 著者名/発表者名
      Sho Kagami, Hajime Taira, Naoyuki Miyashita, Akihiko Torii and Masatoshi Okutomi
    • 学会等名
      29th IEEE International Symposium on Industrial Electronics (ISIE2020)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 内視鏡動画像からの胃の3次元形状復元2020

    • 著者名/発表者名
      紋野雄介, Widya Aji Resindra, 奥富正敏, 鈴木翔, 後藤田卓志, 三木健司
    • 学会等名
      第26回画像センシングシンポジウム(SSII2020)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Pro-Cam SSfM:汎用プロジェクタとカメラを用いた分光3D計測2020

    • 著者名/発表者名
      李淳雨, 紋野雄介, 日高宏紀, 奥富正敏
    • 学会等名
      第26回画像センシングシンポジウム(SSII2020)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ステレオカメラのセルフキャリブレーションに対する解析と2フレーム手法の提案2020

    • 著者名/発表者名
      大石慎太郎, 奥富正敏
    • 学会等名
      第26回画像センシングシンポジウム(SSII2020)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Stomach 3D Reconstruction Based on Virtual Chromoendoscopic Image Generation2020

    • 著者名/発表者名
      Aji Resindra Widya, Yusuke Monno, Masatoshi Okutomi, Sho Suzuki, Takuji Gotoda and Kenji Miki
    • 学会等名
      42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2020)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 大規模屋内環境における3Dマップを用いた自己位置推定2019

    • 著者名/発表者名
      田平創, Torsten Sattler, Josef Sivic, Tomas Pajdla, 鳥居秋彦, 奥富正敏
    • 学会等名
      第25回画像センシングシンポジウム(SSII2019)
    • 関連する報告書
      2019 実績報告書 2018 実績報告書
  • [学会発表] カメラ応答関数未知の単一画像からの影に基づく光源分布推定2019

    • 著者名/発表者名
      中島拓人, 松岡諒, 岡部孝弘
    • 学会等名
      第22回画像の認識・理解シンポジウム (MIRU2019)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 3D Reconstruction of Whole Stomach from Endoscope Video Using Structure-from-Motion2019

    • 著者名/発表者名
      Aji Resindra Widya, Yusuke Monno, Kosuke Imahori, Masatoshi Okutomi, Sho Suzuki, Takuji Gotoda and Kenji Miki
    • 学会等名
      41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Is This The Right Place? Geometric-Semantic Pose Verification for Indoor Visual Localization2019

    • 著者名/発表者名
      Hajime Taira, Ignacio Rocco, Jiri Sedlar, Masatoshi Okutomi, Josef Sivic, Tomas Pajdla, Torsten Sattler and Akihiko Torii
    • 学会等名
      IEEE International Conference on Computer Vision (ICCV2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Pro-Cam SSfM: Projector-Camera System for Structure and Spectral Reflectance from Motion2019

    • 著者名/発表者名
      Chunyu Li, Yusuke Monno, Hironori Hidaka and Masatoshi Okutomi
    • 学会等名
      IEEE International Conference on Computer Vision (ICCV2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 内視鏡画像を基にした胃の3次元モデル表示法の開発2019

    • 著者名/発表者名
      鈴木翔, 三木健司, 後藤田卓志, Widya Aji Resindra, 紋野雄介, 今堀公介, 奥富 正敏
    • 学会等名
      第27回日本消化器関連学会週間
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ライトフィールド履歴の類似度に基づくシーンの法線推定2019

    • 著者名/発表者名
      黒木武, 岡部孝弘
    • 学会等名
      2019年3月情報処理学会コンピュータビジョンとイメージメディア研究会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 屈折と吸収に基づく多波長画像からの水面・水中物体の形状復元2019

    • 著者名/発表者名
      中嶋倫太郎, 岡部孝弘
    • 学会等名
      2019年3月情報処理学会コンピュータビジョンとイメージメディア研究会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 外観検査のための半透明物体の表面粗さ推定2019

    • 著者名/発表者名
      有枝航汰, 岡部孝弘
    • 学会等名
      情報処理学会 第81回全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 参照物体を用いた燐光物体の法線推定2019

    • 著者名/発表者名
      村上時代, 日高大地, 岡部孝弘
    • 学会等名
      情報処理学会 第81回全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 3D Reconstruction of Whole Stomach from Endoscope Video Using Structure-from-Motion2019

    • 著者名/発表者名
      Aji Resindra Widya, Yusuke Monno, Kosuke Imahori, Masatoshi Okutomi, Sho Suzuki, Takuji Gotoda and Kenji Miki
    • 学会等名
      41th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 影に基づく光源分布とカメラ応答関数の同時推定2018

    • 著者名/発表者名
      中島拓人, 岡部孝弘
    • 学会等名
      2018年5月情報処理学会コンピュータビジョンとイメージメディア研究会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 大規模visual localization の実用化に向けた評価用データセットの作成2018

    • 著者名/発表者名
      田平創, 荻野凌, 岩田健太郎, Torsten Sattler, Josef Sivic, Tomas Pajdla, 鳥居秋彦, 奥富正敏
    • 学会等名
      第24回画像センシングシンポジウム(SSII2018)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 2時刻間のカメラ運動推定を伴うステレオセルフキャリブレーション2018

    • 著者名/発表者名
      洞山慶太, 鳥居秋彦, 奥富正敏
    • 学会等名
      第24回画像センシングシンポジウム(SSII2018)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 汎用のカメラとプロジェクターを用いたキャリブレーションの不要な高精度3次元計測2018

    • 著者名/発表者名
      李淳雨, 鳥居秋彦, 奥富正敏
    • 学会等名
      第24回画像センシングシンポジウム(SSII2018)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] InLoc: Indoor Visual Localization with Dense Matching and View Synthesis2018

    • 著者名/発表者名
      Hajime Taira, Masatoshi Okutomi, Torsten Sattler, Mircea Cimpoi, Mark Pollefeys, Josef Sivic, Tomas Pajdla and Akihiko Torii
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition (CVPR2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Robust, Precise, and Calibration-Free Shape Acquisition with an Off-the-Shelf Camera and Projector2018

    • 著者名/発表者名
      Chunyu Li, Akihiko Torii and Masatoshi Okutomi
    • 学会等名
      IEEE International Conference on Consumer Electronics (ICCE2018)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] InLoc: Indoor visual localization with dense matching and view synthesis2018

    • 著者名/発表者名
      Hajime Taira, Masatoshi Okutomi, Torsten Sattler, Mircea Cimpoi, Josef Sivic, Mark Pollefeys, Tomas Pajdla and Akihiko Torii
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition (CVPR2018)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Multi-View Inverse Renderingによる高精細な3次元復元2017

    • 著者名/発表者名
      鳥居秋彦, 金杞昌, 奥富正敏
    • 学会等名
      第23回画像センシングシンポジウム(SSII2017)
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Multi-View Inverse Rendering under Arbitrary Illumination and Albedo2017

    • 著者名/発表者名
      Kichang Kim, Akihiko Torii and Masatoshi Okutomi
    • 学会等名
      第20回画像の認識・理解シンポジウム(MIRU2017)
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [学会発表] 3Dシーンの復元 --より精密に、より大規模に、より完全な情報を--2017

    • 著者名/発表者名
      奥富正敏
    • 学会等名
      3Dレーザスキャニング&イメージングシンポジウム 2017
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [備考] 奥富研究室ホームページ

    • URL

      http://www.ok.sc.e.titech.ac.jp/index-j.shtml

    • 関連する報告書
      2020 実績報告書 2019 実績報告書 2018 実績報告書 2017 実績報告書

URL: 

公開日: 2017-04-28   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi