実体・非実体深奥質感の計算機視覚の実現

• Project Area: Analysis and synthesis of deep SHITSUKAN information in the real world
• Project/Area Number: 20H05951
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: Kyoto University
• Principal Investigator: 西野 恒 京都大学, 情報学研究科, 教授 (60814754)
• Co-Investigator(Kenkyū-buntansha): 延原 章平 京都工芸繊維大学, 情報工学・人間科学系, 教授 (00423020) ; 鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
• Project Period (FY): 2020-11-19 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥116,090,000 (Direct Cost: ¥89,300,000、Indirect Cost: ¥26,790,000); Fiscal Year 2024: ¥18,200,000 (Direct Cost: ¥14,000,000、Indirect Cost: ¥4,200,000); Fiscal Year 2023: ¥20,930,000 (Direct Cost: ¥16,100,000、Indirect Cost: ¥4,830,000); Fiscal Year 2022: ¥20,930,000 (Direct Cost: ¥16,100,000、Indirect Cost: ¥4,830,000); Fiscal Year 2021: ¥19,890,000 (Direct Cost: ¥15,300,000、Indirect Cost: ¥4,590,000); Fiscal Year 2020: ¥36,140,000 (Direct Cost: ¥27,800,000、Indirect Cost: ¥8,340,000)
• Keywords: 知覚情報処理 / 知能情報処理 / コンピュータビジョン / コンピュテーショナルフォトグラフィ / 画像情報処理 / 人間計測 / 深奥質感 / 知能情報学

Outline of Research at the Start

人間の「目測」の計算機による実現を目指し、単に物を見た目から認識するという現在の計算機視覚の限界を突破し、一見明らかではないが、視覚情報から抽出されうる物体や環境にまつわる属性を推定できるようにする。また、人間が暗黙に視覚より得ている物、人や場に対して働きかける上で有用な属性情報の顕在化を目指す。特に、「物」「人」さらにそれらが配置され形成する「場」を考え、それぞれについて視覚から抽出しうる人間の行動の決定に有用な質感にまつわる情報を網羅的に推定することを目指す。これら計算機視覚を用いた深奥質感の知覚、表現、そして利用の実現を通し、人間の深奥質感知覚機構の解明および操作にも資する。

Outline of Annual Research Achievements

主に画像や映像からの物体の物理的特性や周囲環境の復元、ならびに人の意図理解に通ずる状態や意図の発現の検出および認識などに関する研究を進めた。
物体の物理的特性や周囲環境の復元に関し、少数枚の画像から物体の反射特性と周囲の光源状況を求めることにより、対象の質感を数値的に復元することを目指し、特に一様で拡散反射などの単純な質感ではない物体について、既知の自然な照明環境下で撮影された多視点画像から深度・法線・反射特性を復元する新たな多視点ステレオ手法を提案した。提案手法ではまず、陰影や光沢などの見えを手がかりとして被写体の法線を画素ごとの確率密度分布として推定し、これらの推定された法線を視点によらず不変な特徴量として用い、視点間の対応関係の検出および法線推定に利用する。また、形状に加えて反射特性を明示的に推定し、形状と反射特性の推定結果を交互に更新することにより、多様な反射特性を持つ物体についてより精緻な３次元形状復元を実現した。新たに作成したCG画像・実画像データセットを用いて評価実験を行い、物体や照明環境によらず正確に３次元形状・反射特性を復元できることを示した。
人の意図理解に向けて、昨年度から引き続き、第三者視点からの対象者の目の観察に依らない視線方向推定手法の導出をおこない、国際会議において発表をおこなった。さらに、指差しの検出とその3次元方向の推定を実現するトランスフォーマに基づいた新たな深層学習モデルを導出し、33人による2万フレームを超える大規模指差し映像データ・セットを構築した。これにより、室内での自由行動を行っている人物の指差し行動を正確に認識できることを示した。また、同様に非実体質感理解に向けて、場の復元につなげるため、自由行動下の人物を観察するだけで、観察を行っているカメラ群の相対位置関係を復元できることを示した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

実体深奥質感の解析に向けて、画像からの物体の物理特性の推定をおこなう手法の一つとして、複雑な環境光下でも精緻に物体の形状および反射特性を復元できる手法を導出し、実体質感の数値的理解を実現した。部屋の四隅につけられた固定視点カメラなどから、自由行動下における人物がいつ指差しをしているかを検出し、さらにその3次元方向の復元をおこなう方法を導出し、非実体質感の一つとして意図発現としての指差し行動の理解を実現した。これらを含め研究成果は最難関国際会議論文として採択されており、当初計画通り研究が順調に進展していると判断する。

Strategy for Future Research Activity

当初計画通り、非実態深奥質感および実体深奥質感の計算機視覚による知覚実現に向け、特に深層生成モデルを活用した、より深い物体質感の定量的推定や、人の意図や周囲環境との相互作用から浮かび上がる非実体質感の認識を実現するための基盤技術導出に注力する。

Research Products

• [Int'l Joint Research] Rutgers University(米国)
• [Journal Article] Extrinsic Camera Calibration From a Moving Person (2022)
  • Author(s): Sang-Eun Lee, Keisuke Shibata, Soma Nonaka, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Robotics and Automation Letters Volume: 7(4) Issue: 4 Pages: 10344-10351
  • DOI: 10.1109/lra.2022.3192629
  • Peer Reviewed
• [Journal Article] ViewBirdiformer: Learning to recover ground-plane crowd trajectories and ego-motion from a single ego-centric view (2022)
  • Author(s): Mai Nishimura, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Robotics and Automation Letters Volume: 1(8) Issue: 1 Pages: 368-375
  • DOI: 10.1109/lra.2022.3221335
  • Peer Reviewed
• [Journal Article] Non-Rigid Shape From Water (2021)
  • Author(s): Meng-Yu Jennifer Kuo, Ryo Kawahara , Shohei Nobuhara , Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: 7(43) Issue: 7 Pages: 2220-2232
  • DOI: 10.1109/tpami.2021.3075450
  • Peer Reviewed
• [Journal Article] Invertible Neural BRDF for Object Inverse Rendering (2021)
  • Author(s): Zhe Chen, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: online first Issue: 12 Pages: 1-16
  • DOI: 10.1109/tpami.2021.3129537
  • Peer Reviewed
• [Journal Article] Human object interaction detection with missing objects (2021)
  • Author(s): Kaen Kogashi, Yang Wu, Shohei Nobuhara, Ko Nishino
  • Journal Title: Image and Vision Computing Volume: 113 Pages: 109-109
  • DOI: 10.1016/j.imavis.2021.104262
  • Peer Reviewed
• [Journal Article] Surface Normals and Shape From Water (2021)
  • Author(s): Meng-Yu Jennifer Kuo, Satoshi Murai, Ryo Kawahara, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: online first Issue: 12 Pages: 1-12
  • DOI: 10.1109/tpami.2021.3121963
  • Peer Reviewed
• [Presentation] Multimodal Material Segmentation (2022)
  • Author(s): Yupeng Liang, Ryosuke Wakaki, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Dynamic 3D Gaze from Afar: Deep Gaze Estimation from Temporal Eye-Head-Body Coordination (2022)
  • Author(s): Soma Nonaka, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] BlindSpotNet: Seeing Where We Cannot See (2022)
  • Author(s): Taichi Fukuda, Kotaro Hasegawa, Shinya Ishizaki, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshop
  • Int'l Joint Research
• [Presentation] RGB Road Scene Material Segmentation (2022)
  • Author(s): Sudong Cai, Ryosuke Wakaki, Shohei Nobuhara, Ko Nishino
  • Organizer: Asian Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] nLMVS-Net: Deep Non-Lambertian Multi-View Stereo (2022)
  • Author(s): Kohei Yamashita, Yuto Enyo, Shohei Nobuhara, Ko Nishino,
  • Organizer: IEEE/CVF Winter Conference on Applications of Computer Vision
  • Int'l Joint Research
• [Presentation] Polarimetric Normal Stereo (2021)
  • Author(s): Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Shape from Sky: Polarimetric Normal Recovery Under The Sky (2021)
  • Author(s): Tomoki Ichikawa, Matthew Purri, Ryo Kawahara, Shohei Nobuhara, Kristin Dana, Ko Nishino,
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Human-Object Interaction Detection with Missing Objects (2021)
  • Author(s): Kaen Kogashi, Yang Wu, Shohei Nobuhara, Ko Nishino
  • Organizer: International Conference on Machine Vision Applications
  • Int'l Joint Research
• [Patent(Industrial Property Rights)] 情報処理装置、情報処理方法、情報処理プログラム、死角推定モデルプログラム、自動運転システムおよび運転教習システム (2022)
  • Inventor(s): 西野恒、延原章平、福田太一、長谷川浩太郎、石崎慎弥
  • Industrial Property Rights Holder: 西野恒、延原章平、福田太一、長谷川浩太郎、石崎慎弥
  • Industrial Property Rights Type: 特許
  • Filing Date: 2022
• [Patent(Industrial Property Rights)] 情報処理装置、情報処理方法および情報処理プログラム (2021)
  • Inventor(s): 西野恒、延原章平、川原僚、深尾圭貴
  • Industrial Property Rights Holder: 西野恒、延原章平、川原僚、深尾圭貴
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2021-091519
  • Filing Date: 2021