物理的演繹モデルと帰納的深層学習の融合によるしなやかな画像理解

• Project/Area Number: 21H04893
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Kyoto University
• Principal Investigator: 西野 恒 京都大学, 情報学研究科, 教授 (60814754)
• Project Period (FY): 2021-04-05 – 2026-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥41,730,000 (Direct Cost: ¥32,100,000、Indirect Cost: ¥9,630,000); Fiscal Year 2025: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2024: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2023: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2022: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2021: ¥11,570,000 (Direct Cost: ¥8,900,000、Indirect Cost: ¥2,670,000)
• Keywords: 知覚情報処理 / コンピュータビジョン / 知能情報処理 / コンピュテーショナルフォトグラフィ / 光学的画像理解 / 逆問題

Outline of Research at the Start

本研究では、画像理解を研究対象に据え、物理則等の演繹的モデルとデータ駆動の帰納的学習を融合した両者の強みを最大限に引き出す新たな手法の導出を追究する。特に、 「光学的画像理解」と呼ぶ画像からの実世界物体や光景の反射特性、幾何形状、光源状況を含む光学的構成要素の推定を研究射程とし、応用の効く人工知能基盤技術として、様々な不定性の高い逆問題を効率良く精確に推定する一連の手法の確立を目指す。

Outline of Annual Research Achievements

本年度は、光学的画像理解の根底をなす非凸双線型最適化問題を学習された最適化により解くことを目指した。すなわち、非線形最適化問題の勾配方向とステップ長を出力する深層ネットワークを考えることにより最適化問題の直接的求解ではなく、繰り返しによる求解方法そのものを学習により体得する、いわば深層最適化ネットワークの導出を行なった。本年度はこれを複数視点映像からの人体3次元形状および姿勢復元に適用し、その正当性を検証した。具体的には、多視点からの身体形状及び姿勢復元を深層最適化として定式化することで、頑健かつ汎用的な推定を可能とするHeatFormerを導出した。HeatFormerは複数の視点で撮影された画像が与えられた時に、カメラ構成に関係なく、繰り返し統計的人体モデルのパラメータを改善していく深層最適化モデルである。HeatFormerはこれを、多視点でヒートマップ生成及びアラインメントを実現する新しいTransformerエンコーダ、デコーダモデルによって構成される。これらの研究成果はコンピュータビジョン分野トップ国際会議であるCVPRにおいて発表予定である。今後、反射特性推定への適用を行う予定である。さらに、単一深度推定を最大限に活用した少数枚の画像からの精緻な3次元形状復元や、物体表面反射における点対応を用いた従来では扱いづらかった鏡面反射の強い物体の3次元形状復元、さらには不定性の高い逆問題を解の曖昧性保持したままサンプリングによってい求解する手法の導出による単一画像からの光源状況推定や形状復元の新たな手法の導出を行なった。また、米国CUNYよりMichael Grossberg教授を３ヶ月招聘し、category theoryを用いて新たに光学的理解の定式化を行うための基礎検討を行なった。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初計画していた、非凸双線型最適化問題を学習された最適化により解くことを実現しただけではなく、不定性の高い光学的逆問題を統計的サンプリングにより曖昧性を保持したまま求解する手法を導出し、さらに少数枚からの任意視点映像の推定手法も導出することができた。これらの成果は、全て当該分野トップ国際会議において発表済みおよび発表予定であり、物理的演繹モデルと帰納的深層学習の融合を光学的画像理解にとどまることなく汎化する手法として当初計画以上の成果を実現できている。

Strategy for Future Research Activity

本年度は、最終年度として、光学的理解問題の中でも特に困難である、光源状況と物体表面テクスチャの分離に特に注力する。このために、現在までに導出してきた演繹モデルと機能的学習モデルの融合手法に基づき、新たな手法の導出に取り組む。

Research Products

• [Int'l Joint Research] ENPC(フランス)
• [Int'l Joint Research] Harvard University/CUNY(米国)
• [Journal Article] Extrinsic Camera Calibration From a Moving Person (2022)
  • Author(s): Sang-Eun Lee, Keisuke Shibata, Soma Nonaka, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Robotics and Automation Letters Volume: 7(4) Issue: 4 Pages: 10344-10351
  • DOI: 10.1109/lra.2022.3192629
  • Peer Reviewed
• [Journal Article] Invertible Neural BRDF for Object Inverse Rendering (2021)
  • Author(s): Zhe Chen, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: online first Issue: 12 Pages: 1-16
  • DOI: 10.1109/tpami.2021.3129537
  • Peer Reviewed
• [Journal Article] Human object interaction detection with missing objects (2021)
  • Author(s): Kaen Kogashi, Yang Wu, Shohei Nobuhara, Ko Nishino
  • Journal Title: Image and Vision Computing Volume: 113 Pages: 109-109
  • DOI: 10.1016/j.imavis.2021.104262
  • Peer Reviewed
• [Journal Article] Non-Rigid Shape From Water (2021)
  • Author(s): Meng-Yu Jennifer Kuo, Ryo Kawahara , Shohei Nobuhara , Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: 7(43) Issue: 7 Pages: 2220-2232
  • DOI: 10.1109/tpami.2021.3075450
  • Peer Reviewed
• [Presentation] HeatFormer: A Neural Optimizer for Multiview Human Mesh Recovery (2025)
  • Author(s): Yuto Matubara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition CVPR’25
  • Int'l Joint Research
• [Presentation] MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse View (2025)
  • Author(s): Antoine Guedon, Tomoki Ichikawa, Kohei Yamashita, and Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition CVPR’25
  • Int'l Joint Research
• [Presentation] DeepShaRM: Multi-View Shape and Reflectance Map Recovery Under Unknown Lighting (2024)
  • Author(s): Kohei Yamashita, Shohei Nobuhara, Ko Nishino
  • Organizer: International Conference on 3D Vision (3DV), 2024
  • Int'l Joint Research
• [Presentation] SPIDeRS: Structured Polarization for Invisible Depth and Reflectance Sensing (2024)
  • Author(s): Tomoki Ichikawa, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition CVPR’24
  • Int'l Joint Research
• [Presentation] Diffusion Reflectance Map: Single-Image Stochastic Inverse Rendering of Illumination and Reflectance (2024)
  • Author(s): Yuto Enyo, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition CVPR’24
  • Int'l Joint Research
• [Presentation] Camera Height Doesn’t Change: Unsupervised Training for Metric Monocular Road-Scene Depth Estimation (2024)
  • Author(s): Genki Kinoshita, Ko Nishino
  • Organizer: European Conference on Computer Vision ECCV’24, Oct., 2024
  • Int'l Joint Research
• [Presentation] Correspondences of the Third Kind: Camera Pose Estimation from Object Reflection (2024)
  • Author(s): Kohei Yamashita, Vincent Lepetit, Ko Nishino
  • Organizer: European Conference on Computer Vision ECCV’24, Oct., 2024
  • Int'l Joint Research
• [Presentation] Multistable Shape from Shading Emerges from Patch Diffusion (2024)
  • Author(s): Xinran N. Han, Todd Zickler, Ko Nishino
  • Organizer: Advances in Neural Processing Systems NeurIPS'25
  • Int'l Joint Research
• [Presentation] DeePoint: Visual Pointing Recognition and Direction Estimation (2023)
  • Author(s): Shu Nakamura, Yasutomo Kawanishi, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF International Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Fresnel Microfacet BRDF: Unification of Polari-Radiometric Surface-Body Reflection (2023)
  • Author(s): Tomoki Ichikawa, Yoshiki Fukao, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] NeRFrac: Neural Radiance Fields through Refractive Surface (2023)
  • Author(s): Yifan Zhan, Shohei Nobuhara, Ko Nishino, and Yinqiang Zheng
  • Organizer: IEEE/CVF International Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] nLMVS-Net: Deep Non-Lambertian Multi-View Stereo (2022)
  • Author(s): K. Yamashita, Y. Enyo, S. Nobuhara and K. Nishino
  • Organizer: IEEE/CVF Winter Conference on Applications of Computer Vision
  • Int'l Joint Research
• [Presentation] RGB Road Scene Material Segmentation (2022)
  • Author(s): S. Cai, R. Wakaki, S. Nobuhara and K. Nishino
  • Organizer: Asian Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] BlindSpotNet: Seeing Where We Cannot See (2022)
  • Author(s): T. Fukuda, K. Hasegawa, S. Ishizaki, S. Nobuhara and K. Nishino
  • Organizer: European Conference on Computer Vision Workshops, Autonomous Vehicle Vision Workshop
  • Int'l Joint Research
• [Presentation] Dynamic 3D Gaze from Afar: Deep Gaze Estimation from Temporal Eye-Head-Body Coordination (2022)
  • Author(s): S. Nonaka, S. Nobuhara, and K. Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Multimodal Material Segmentation (2022)
  • Author(s): Y. Liang, R. Wakaki, S. Nobuhara, and K. Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Multimodal Material Segmentation (2022)
  • Author(s): Yupeng Liang, Ryosuke Wakaki, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Dynamic 3D Gaze from Afar: Deep Gaze Estimation from Temporal Eye-Head-Body Coordination (2022)
  • Author(s): Soma Nonaka, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Human-Object Interaction Detection with Missing Objects (2021)
  • Author(s): Kaen Kogashi,Yang Wu, Shohei Nobuhara, Ko Nishino
  • Organizer: International Conference on Machine Vision Applications
  • Int'l Joint Research