物理的演繹モデルと帰納的深層学習の融合によるしなやかな画像理解

• Project/Area Number: 21H04893
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Kyoto University
• Principal Investigator: 西野 恒 京都大学, 情報学研究科, 教授 (60814754)
• Project Period (FY): 2021-04-05 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥41,730,000 (Direct Cost: ¥32,100,000、Indirect Cost: ¥9,630,000); Fiscal Year 2025: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2024: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2023: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2022: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2021: ¥11,570,000 (Direct Cost: ¥8,900,000、Indirect Cost: ¥2,670,000)
• Keywords: コンピュータビジョン / 知覚情報処理 / 知能情報処理 / コンピュテーショナルフォトグラフィ / 光学的画像理解 / 逆問題

Outline of Research at the Start

本研究では、画像理解を研究対象に据え、物理則等の演繹的モデルとデータ駆動の帰納的学習を融合した両者の強みを最大限に引き出す新たな手法の導出を追究する。特に、 「光学的画像理解」と呼ぶ画像からの実世界物体や光景の反射特性、幾何形状、光源状況を含む光学的構成要素の推定を研究射程とし、応用の効く人工知能基盤技術として、様々な不定性の高い逆問題を効率良く精確に推定する一連の手法の確立を目指す。

Outline of Annual Research Achievements

今年度は、光学的画像理解の根底をなす非凸双線型最適化問題を学習された最適化により解くことを目指し、物体の姿勢推定を行う新たな深層学習モデルの導出を行なった。このモデルは徐々に増える複数視点から物体の姿勢の推定を行う際に、ネットワーク自体が姿勢最適化をend-to-endに学習し、視点に応じた情報の重みづけを行い、より少数の視点から遮蔽に頑健に物体姿勢を推定するものである。また本研究を基盤として、人間の指差しの認識と３次元方向推定を行う手法の導出を行なった。この研究においては単一視点映像であるものの、人体の関節点位置等の複数の特徴量を統合的にネットワークで扱い重み付けしながら方向推定に結びつける点は、非凸双線型最適化問題を学習された最適化を行うことに他ならず、互いに深く関連する。

さらに、空間における光の伝搬自体をボリュームとして表現する深層学習モデル（Neural Radiance Field）において、屈折を表現するために解析的な屈折面表現を織り込む手法の導出を行なった。これにより、水槽における魚を水槽外に設置されたカメラから自在に合成することなどが可能になる。本手法は、NeRFと解析的光学モデルの融合を行なった研究であり、本課題の成果を体現するものである。

また、並行して計画課題である反射と幾何の統合的表現の導出の一貫として、新たな反射モデルの導出を行なった。本モデルは同一の幾何構造における光の挙動を丁寧に追うことにより、可視光のみならず偏光も同一のモデルで表現する新たな物理ベースの反射モデルであり、これを用いて、物体の形状や反射特性の復元をより頑健かつ正確に行えることを示した。本研究成果は初めての統一的反射モデルとして高く評価され、当該分野トップ国際会議において発表を行なった。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初計画していた、非凸双線型最適化問題を学習された最適化の導出を計画通り実現しただけではなく、物体表面における可視光反射と偏光反射の両者を統一的に表現する新たな反射モデルの導出を行うなど、計画以上の成果を上げることができた。これらの成果は、全て当該分野トップ国際会議において発表済みであり、今後の計画研究の基盤技術ともなる。これらの研究を通して、光学的解析のみならず人物行動や物体姿勢など、重要課題を超えて基盤となりうる「物理的演繹モデルと帰納的深層学習の融合」を行えている。

Strategy for Future Research Activity

本年度は、昨年度に続き、光学的画像理解の根底をなす非凸双線型最適化問題を学習された最適化により解くことを目指す。すなわち、非線形最適化問題の勾配方向とステップ長を出力する深層ネットワークを考え、さらにこれを任意の物理的制約に起因する潜在空間等の拘束を敵対的事前分布等とし て組み込み、かつ全体として凸化されるようにした上でネットワーク自体を合成データを活用し end-to-end で学習する。特に人体の姿勢推定を主題として追究し、Transformerのアテンション機構を活用することにより深層最適化モデルの導出を試みる。また、これにより、当初計画の課題の一つである素材認識等において最も認識精度および粒度を高める視線方向と撮像枚数を自動的に決定する手法の導出をおこなう。すなわち、認識ネットワークとしてTransformer等を考えた場合に、自動的に最も認識精度を高める撮像方向を求める深層学習モデルの導出を行う。これにより、素材や物体の認識のみならず、人体や物体の姿勢推定への応用も探究する。さらに、素材認識の枠組みにおいて、生成モデルにより得られる特徴量を用いた識別を試みる。

Research Products

• [Journal Article] Extrinsic Camera Calibration From a Moving Person (2022)
  • Author(s): Sang-Eun Lee, Keisuke Shibata, Soma Nonaka, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Robotics and Automation Letters Volume: 7(4) Issue: 4 Pages: 10344-10351
  • DOI: 10.1109/lra.2022.3192629
  • Peer Reviewed
• [Journal Article] Invertible Neural BRDF for Object Inverse Rendering (2021)
  • Author(s): Zhe Chen, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: online first Issue: 12 Pages: 1-16
  • DOI: 10.1109/tpami.2021.3129537
  • Peer Reviewed
• [Journal Article] Human object interaction detection with missing objects (2021)
  • Author(s): Kaen Kogashi, Yang Wu, Shohei Nobuhara, Ko Nishino
  • Journal Title: Image and Vision Computing Volume: 113 Pages: 109-109
  • DOI: 10.1016/j.imavis.2021.104262
  • Peer Reviewed
• [Journal Article] Non-Rigid Shape From Water (2021)
  • Author(s): Meng-Yu Jennifer Kuo, Ryo Kawahara , Shohei Nobuhara , Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: 7(43) Issue: 7 Pages: 2220-2232
  • DOI: 10.1109/tpami.2021.3075450
  • Peer Reviewed
• [Presentation] DeePoint: Visual Pointing Recognition and Direction Estimation (2023)
  • Author(s): Shu Nakamura, Yasutomo Kawanishi, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF International Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Fresnel Microfacet BRDF: Unification of Polari-Radiometric Surface-Body Reflection (2023)
  • Author(s): Tomoki Ichikawa, Yoshiki Fukao, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] NeRFrac: Neural Radiance Fields through Refractive Surface (2023)
  • Author(s): Yifan Zhan, Shohei Nobuhara, Ko Nishino, and Yinqiang Zheng
  • Organizer: IEEE/CVF International Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] nLMVS-Net: Deep Non-Lambertian Multi-View Stereo (2022)
  • Author(s): K. Yamashita, Y. Enyo, S. Nobuhara and K. Nishino
  • Organizer: IEEE/CVF Winter Conference on Applications of Computer Vision
  • Int'l Joint Research
• [Presentation] RGB Road Scene Material Segmentation (2022)
  • Author(s): S. Cai, R. Wakaki, S. Nobuhara and K. Nishino
  • Organizer: Asian Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] BlindSpotNet: Seeing Where We Cannot See (2022)
  • Author(s): T. Fukuda, K. Hasegawa, S. Ishizaki, S. Nobuhara and K. Nishino
  • Organizer: European Conference on Computer Vision Workshops, Autonomous Vehicle Vision Workshop
  • Int'l Joint Research
• [Presentation] Dynamic 3D Gaze from Afar: Deep Gaze Estimation from Temporal Eye-Head-Body Coordination (2022)
  • Author(s): S. Nonaka, S. Nobuhara, and K. Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Multimodal Material Segmentation (2022)
  • Author(s): Y. Liang, R. Wakaki, S. Nobuhara, and K. Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Multimodal Material Segmentation (2022)
  • Author(s): Yupeng Liang, Ryosuke Wakaki, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Dynamic 3D Gaze from Afar: Deep Gaze Estimation from Temporal Eye-Head-Body Coordination (2022)
  • Author(s): Soma Nonaka, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Human-Object Interaction Detection with Missing Objects (2021)
  • Author(s): Kaen Kogashi,Yang Wu, Shohei Nobuhara, Ko Nishino
  • Organizer: International Conference on Machine Vision Applications
  • Int'l Joint Research