質感と三次元形状のイメージングに関する研究

• 研究課題/領域番号: 19H01123
• 研究種目: 基盤研究(A)
• 配分区分: 補助金
• 応募区分: 一般
• 審査区分: 中区分61:人間情報学およびその関連分野
• 研究機関: 大阪大学
• 研究代表者: 松下 康之 大阪大学, 大学院情報科学研究科, 教授 (30756507)
• 研究期間 (年度): 2019-04-01 – 2024-03-31
• 研究課題ステータス: 完了 (2023年度)
• 配分額: 45,630千円 (直接経費: 35,100千円、間接経費: 10,530千円); 2023年度: 5,850千円 (直接経費: 4,500千円、間接経費: 1,350千円); 2022年度: 5,850千円 (直接経費: 4,500千円、間接経費: 1,350千円); 2021年度: 6,890千円 (直接経費: 5,300千円、間接経費: 1,590千円); 2020年度: 11,050千円 (直接経費: 8,500千円、間接経費: 2,550千円); 2019年度: 15,990千円 (直接経費: 12,300千円、間接経費: 3,690千円)
• キーワード: コンピュータビジョン / 3次元形状推定 / 質感推定 / 三次元形状復元 / 三次元イメージング / 反射率推定 / 質感

研究開始時の研究の概要

本研究では，実世界物体を対象にカメラを用いた高精度な質感と三次元形状のディジタル化技術の確立に取り組む．これまでに困難であった画像を用いた質感のディジタル化に取り組み、様々な実環境で有効な「質感＋三次元」イメージング技術を開発する．本研究課題の実現により，実世界物体の高精細な「質感＋三次元形状」のイメージングが手軽に利用できるようになり，撮影結果を利用して対象シーンを任意の光源下でレンダリングすることができる他，物体認識等の基盤技術の精度向上に貢献できる．

研究成果の概要

本研究では，カメラを用いて実世界にある物体の3次元形状と質感の両方をデータとして獲得し，実物体のデジタル3次元コピーを手軽に生成する技術の開発を目標としました．この研究を通じて，3次元形状と物体の質感を表現する反射率の同時推定技術が進展し，デジタル3次元化技術が進展しました．従来の3次元デジタル化のための撮影装置は大掛かりなものでしたが，それをコンパクトに実現する方法についても研究が進みました．これらの成果については，国際会議や国際論文誌にて広く発信しました．

研究成果の学術的意義や社会的意義

本研究は，人間の視覚機能の一部である3次元形状と反射率の認識に関わる機能が，計算機上に実現できるかを問い，またそれを通じて人間の視覚機能の計算可能性について理解するという学術的な意義があります．また，実物体を3次元デジタル化することには，デジタルツイン等における広い応用先があり，産業的，社会的に大きな意義があります．

研究成果

• [国際共同研究] Peking University(中国)
• [国際共同研究] Simon Fraser University(カナダ)
• [国際共同研究] Meta(米国)
• [国際共同研究] Peking University(中国)
• [国際共同研究] Australian National University(オーストラリア)
• [雑誌論文] Shape and Albedo Recovery by Your Phone using Stereoscopic Flash and No-Flash Photography (2022)
  • 著者名/発表者名: Xu Cao, Michael Waechter, Boxin Shi, Ye Gao, Bo Zheng, Fumio Okura, Yasuyuki Matsushita
  • 雑誌名: International Journal of Computer Vision (IJCV) 巻: 130 号: 6 ページ: 1403-1415
  • DOI: 10.1007/s11263-022-01597-6
  • 査読あり / 国際共著
• [雑誌論文] Multispectral Photometric Stereo for Spatially-Varying Spectral Reflectances (2022)
  • 著者名/発表者名: Heng Guo, Fumio Okura, Boxin Shi, Takuya Funatomi, Yasuhiro Mukaigawa, and Yasuyuki Matsushita
  • 雑誌名: International Journal of Computer Vision (IJCV) 巻: 130 号: 9 ページ: 2166-2183
  • DOI: 10.1007/s11263-022-01634-4
  • 査読あり / 国際共著
• [雑誌論文] Patch-Based Uncalibrated Photometric Stereo Under Natural Illumination (2022)
  • 著者名/発表者名: Heng Guo, Zhipeng Mo, Boxin Shi, Feng Lu, Sai-Kit Yeung, Ping Tan, and Yasuyuki Matsushita
  • 雑誌名: IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 巻: 44 号: 11 ページ: 7809-7823
  • DOI: 10.1109/tpami.2021.3115229
  • 査読あり / 国際共著
• [雑誌論文] Bilateral Normal Integration (2022)
  • 著者名/発表者名: Cao Xu、Santo Hiroaki、Shi Boxin、Okura Fumio、Matsushita Yasuyuki
  • 雑誌名: In Proceedings of European Conference on Computer Vision (ECCV) 巻: 1 ページ: 552-567
  • DOI: 10.1007/978-3-031-19769-7_32
  • ISBN: 9783031197680, 9783031197697
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Deep Photometric Stereo for Non-Lambertian Surfaces (2022)
  • 著者名/発表者名: Chen Guanying、Han Kai、Shi Boxin、Matsushita Yasuyuki、Wong Kwan-Yee K.
  • 雑誌名: IEEE Transactions on Pattern Analysis and Machine Intelligence 巻: 44 号: 1 ページ: 129-142
  • DOI: 10.1109/tpami.2020.3005397
  • 査読あり / 国際共著
• [雑誌論文] Deep Photometric Stereo Networks for Determining Surface Normal and Reflectances (2020)
  • 著者名/発表者名: Santo Hiroaki、Samejima Masaki、Sugano Yusuke、Shi Boxin、Matsushita Yasuyuki
  • 雑誌名: IEEE Transactions on Pattern Analysis and Machine Intelligence 巻: 1 号: 1 ページ: 1-1
  • DOI: 10.1109/tpami.2020.3005219
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Light structure from pin motion: Geometric point light source calibration (2020)
  • 著者名/発表者名: Hiroaki Santo, Michael Waechter, Wen-Yan Lin, Yusuke Sugano, Yasuyuki Matsushita
  • 雑誌名: International Journal of Computer Vision (IJCV) 巻: - 号: 7 ページ: 1889-1912
  • DOI: 10.1007/s11263-020-01312-3
  • 査読あり / オープンアクセス
• [学会発表] Normal Integration via Inverse Plane Fitting With Minimum Point-to-Plane Distance (2021)
  • 著者名/発表者名: Xu Cao, Boxin Shi, Fumio Okura, Yasuyuki Matsushita
  • 学会等名: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
  • 国際学会
• [学会発表] Lighting, Reflectance and Geometry Estimation From 360deg Panoramic Stereo (2021)
  • 著者名/発表者名: Junxuan Li, Hongdong Li, Yasuyuki Matsushita
  • 学会等名: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
  • 国際学会
• [学会発表] Symmetric-light Photometric Stereo (2021)
  • 著者名/発表者名: Kazuma Minami, Hiroaki Santo, Fumio Okura, Yasuyuki Matsushita
  • 学会等名: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)
  • 国際学会
• [学会発表] Shape-coded ArUco: Fiducial Marker for Bridging 2D and 3D Modalities (2021)
  • 著者名/発表者名: Lilika Makabe, Hiroaki Santo, Fumio Okura, Yasuyuki Matsushita
  • 学会等名: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)
  • 国際学会
• [学会発表] What is Learned in Deep Uncalibrated Photometric Stereo? (2020)
  • 著者名/発表者名: Guanying Chen, Michael Waechter, Boxin Shi, Kwan-Yee Kenneth Wong, Yasuyuki Matsushita
  • 学会等名: European Conference on Computer Vision (ECCV)
  • 国際学会
• [学会発表] Deep near-light photometric stereo for spatially varying reflectances (2020)
  • 著者名/発表者名: Hiroaki Santo, Michael Waechter, Yasuyuki Matsushita
  • 学会等名: European Conference on Computer Vision (ECCV)
  • 国際学会
• [学会発表] Stereoscopic Flash and No-Flash Photography for Shape and Albedo Recovery (2020)
  • 著者名/発表者名: Xu Cao, Michael Waechter, Boxin Shi, Ye Gao, Bo Zheng, Yasuyuki Matsushita
  • 学会等名: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
  • 国際学会
• [学会発表] Photometric Stereo via Discrete Hypothesis-and-Test Search (2020)
  • 著者名/発表者名: Kenji Enomoto, Michael Waechter, Kiriakos N. Kutulakos, Yasuyuki Matsushita
  • 学会等名: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
  • 国際学会