実体・非実体深奥質感の計算機視覚の実現

• Project Area: Analysis and synthesis of deep SHITSUKAN information in the real world
• Project/Area Number: 20H05951
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: Kyoto University
• Principal Investigator: 西野 恒 京都大学, 情報学研究科, 教授 (60814754)
• Co-Investigator(Kenkyū-buntansha): 延原 章平 京都工芸繊維大学, 情報工学・人間科学系, 教授 (00423020) ; 鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
• Project Period (FY): 2020-11-19 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥116,090,000 (Direct Cost: ¥89,300,000、Indirect Cost: ¥26,790,000); Fiscal Year 2024: ¥18,200,000 (Direct Cost: ¥14,000,000、Indirect Cost: ¥4,200,000); Fiscal Year 2023: ¥20,930,000 (Direct Cost: ¥16,100,000、Indirect Cost: ¥4,830,000); Fiscal Year 2022: ¥20,930,000 (Direct Cost: ¥16,100,000、Indirect Cost: ¥4,830,000); Fiscal Year 2021: ¥19,890,000 (Direct Cost: ¥15,300,000、Indirect Cost: ¥4,590,000); Fiscal Year 2020: ¥36,140,000 (Direct Cost: ¥27,800,000、Indirect Cost: ¥8,340,000)
• Keywords: 知覚情報処理 / 知能情報処理 / コンピュータビジョン / コンピュテーショナルフォトグラフィ / 画像情報処理 / 人間計測 / 深奥質感 / 知能情報学

Outline of Research at the Start

人間の「目測」の計算機による実現を目指し、単に物を見た目から認識するという現在の計算機視覚の限界を突破し、一見明らかではないが、視覚情報から抽出されうる物体や環境にまつわる属性を推定できるようにする。また、人間が暗黙に視覚より得ている物、人や場に対して働きかける上で有用な属性情報の顕在化を目指す。特に、「物」「人」さらにそれらが配置され形成する「場」を考え、それぞれについて視覚から抽出しうる人間の行動の決定に有用な質感にまつわる情報を網羅的に推定することを目指す。これら計算機視覚を用いた深奥質感の知覚、表現、そして利用の実現を通し、人間の深奥質感知覚機構の解明および操作にも資する。

Outline of Annual Research Achievements

主に画像や映像からの非実体的質感を構成する人の意図理解に通ずる状態や意図の発現の検出および認識などに関する研究を進めた。特に、意図の発現の代表例として指差し動作を取り上げ、単眼カメラからの実現人の指差しの検出およびその３次元方向推定を実現した。

指差しは、様々な意図を他者に共有できる簡便かつ多義的なジェスチャであり、対象人物の意図を直接的に表すものである。画像からの指差し認識を行った既存の研究では、深度カメラのような特殊なカメラの利用を前提としている、指示者の姿勢に制約があるなどの理由で、環境を自由に移動している指示者の自然な指差しを検出し推定できるものがなかった。提案手法であるDeePointは、指示者の動画を入力として、全身の画像特徴、及びその時系列変化を学習することで、指示者の姿勢によらない頑健な指差し認識を行う。DeePointを訓練するためには、自然に行われた指差しの三次元方向およびその開始と終了の時刻が教師として必要となるが、これを半自動的に作成する手法も導出した。33名の実験参加者の指差しを実際に撮影し、指差し情報をアノテートしたDPデータセットを作成した。DPデータセットで訓練されたDeePointは、訓練データに存在しない指示者や撮影環境においても指差しを認識でき、既存手法より高い性能を示し、比較実験により、提案手法は効率的に指示者の映像の特徴量を集約していることを示した。

また、実体的質感を解析する上では欠かせない反射モデルに関し、新たに可視光の表面反射のみならず偏光の反射特性も同一のモデルで正確に表現する新たに導出した。これは、現在まで別個に解析されていた鏡面反射および拡散反射を統一的扱うものでもあり、当該分野においても現在まで可視光および偏光、さらには鏡面反射および拡散反射と別々の数理モデルを要していた状況を打開する大きな成果であり、今後の実体的質感解析の基盤技術をなすものとなる。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

非実体的質感の解析には欠かせない人の意図発現を捉える指差しの検出および方向推定、並びに実体的質感解析の基盤となる可視光および偏光、さらに鏡面および拡散反射を統合した新たな反射モデルの導出を代表的研究成果とし、これらの当該分野最難関会議における発表も行なったことにより、当初計画以上に研究が進められていると判断する。

Strategy for Future Research Activity

当初計画通り、非実態深奥質感および実体深奥質感の計算機視覚による知覚実現に向け、特に深層生成モデルを活用した、より深い物体質感の定量的推定や、人の意図や周囲環境との相互作用から浮かび上がる非実体質感の認識を実現するための基盤技術導出に注力する。

Research Products

• [Int'l Joint Research] Simon Fraser University(カナダ)
• [Int'l Joint Research] Rutgers University(米国)
• [Journal Article] Extrinsic Camera Calibration From a Moving Person (2022)
  • Author(s): Sang-Eun Lee, Keisuke Shibata, Soma Nonaka, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Robotics and Automation Letters Volume: 7(4) Issue: 4 Pages: 10344-10351
  • DOI: 10.1109/lra.2022.3192629
  • Peer Reviewed
• [Journal Article] ViewBirdiformer: Learning to recover ground-plane crowd trajectories and ego-motion from a single ego-centric view (2022)
  • Author(s): Mai Nishimura, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Robotics and Automation Letters Volume: 1(8) Issue: 1 Pages: 368-375
  • DOI: 10.1109/lra.2022.3221335
  • Peer Reviewed
• [Journal Article] Non-Rigid Shape From Water (2021)
  • Author(s): Meng-Yu Jennifer Kuo, Ryo Kawahara , Shohei Nobuhara , Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: 7(43) Issue: 7 Pages: 2220-2232
  • DOI: 10.1109/tpami.2021.3075450
  • Peer Reviewed
• [Journal Article] Invertible Neural BRDF for Object Inverse Rendering (2021)
  • Author(s): Zhe Chen, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: online first Issue: 12 Pages: 1-16
  • DOI: 10.1109/tpami.2021.3129537
  • Peer Reviewed
• [Journal Article] Human object interaction detection with missing objects (2021)
  • Author(s): Kaen Kogashi, Yang Wu, Shohei Nobuhara, Ko Nishino
  • Journal Title: Image and Vision Computing Volume: 113 Pages: 109-109
  • DOI: 10.1016/j.imavis.2021.104262
  • Peer Reviewed
• [Journal Article] Surface Normals and Shape From Water (2021)
  • Author(s): Meng-Yu Jennifer Kuo, Satoshi Murai, Ryo Kawahara, Shohei Nobuhara, Ko Nishino
  • Journal Title: IEEE Transactions on Pattern Analysis and Machine Intelligence Volume: online first Issue: 12 Pages: 1-12
  • DOI: 10.1109/tpami.2021.3121963
  • Peer Reviewed
• [Presentation] Fresnel Microfacet BRDF: Unification of Polari-Radiometric Surface-Body Reflection (2023)
  • Author(s): Tomoki Ichikawa, Yhoshiki Fukao, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF International Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] DeePoint: Visual Pointing Recognition and Direction Estimation (2023)
  • Author(s): Shu Nakamura, Yasutomo Kawanishi, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF International Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] NeRFrac: Neural Radiance Fields through Refractive Surface (2023)
  • Author(s): Yifan Zhan, Shohei Nobuhara, Ko Nishino, and Yinqiang Zheng
  • Organizer: IEEE/CVF International Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Multimodal Material Segmentation (2022)
  • Author(s): Yupeng Liang, Ryosuke Wakaki, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Dynamic 3D Gaze from Afar: Deep Gaze Estimation from Temporal Eye-Head-Body Coordination (2022)
  • Author(s): Soma Nonaka, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] BlindSpotNet: Seeing Where We Cannot See (2022)
  • Author(s): Taichi Fukuda, Kotaro Hasegawa, Shinya Ishizaki, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshop
  • Int'l Joint Research
• [Presentation] RGB Road Scene Material Segmentation (2022)
  • Author(s): Sudong Cai, Ryosuke Wakaki, Shohei Nobuhara, Ko Nishino
  • Organizer: Asian Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] nLMVS-Net: Deep Non-Lambertian Multi-View Stereo (2022)
  • Author(s): Kohei Yamashita, Yuto Enyo, Shohei Nobuhara, Ko Nishino,
  • Organizer: IEEE/CVF Winter Conference on Applications of Computer Vision
  • Int'l Joint Research
• [Presentation] Polarimetric Normal Stereo (2021)
  • Author(s): Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara, Ko Nishino
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Shape from Sky: Polarimetric Normal Recovery Under The Sky (2021)
  • Author(s): Tomoki Ichikawa, Matthew Purri, Ryo Kawahara, Shohei Nobuhara, Kristin Dana, Ko Nishino,
  • Organizer: IEEE/CVF Conference on Computer Vision and Pattern Recognition
  • Int'l Joint Research
• [Presentation] Human-Object Interaction Detection with Missing Objects (2021)
  • Author(s): Kaen Kogashi, Yang Wu, Shohei Nobuhara, Ko Nishino
  • Organizer: International Conference on Machine Vision Applications
  • Int'l Joint Research
• [Patent(Industrial Property Rights)] 情報処理装置、情報処理方法、情報処理プログラム、死角推定モデルプログラム、自動運転システムおよび運転教習システム (2022)
  • Inventor(s): 西野恒、延原章平、福田太一、長谷川浩太郎、石崎慎弥
  • Industrial Property Rights Holder: 西野恒、延原章平、福田太一、長谷川浩太郎、石崎慎弥
  • Industrial Property Rights Type: 特許
  • Filing Date: 2022
• [Patent(Industrial Property Rights)] 情報処理装置、情報処理方法および情報処理プログラム (2021)
  • Inventor(s): 西野恒、延原章平、川原僚、深尾圭貴
  • Industrial Property Rights Holder: 西野恒、延原章平、川原僚、深尾圭貴
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2021-091519
  • Filing Date: 2021