• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

実体・非実体深奥質感の計算機視覚の実現

Planned Research

Project AreaAnalysis and synthesis of deep SHITSUKAN information in the real world
Project/Area Number 20H05951
Research InstitutionKyoto University

Principal Investigator

西野 恒  京都大学, 情報学研究科, 教授 (60814754)

Co-Investigator(Kenkyū-buntansha) 延原 章平  京都大学, 情報学研究科, 准教授 (00423020)
鄭 銀強  東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
Project Period (FY) 2020-11-19 – 2025-03-31
Keywords知能情報処理
Outline of Annual Research Achievements

計算機視覚による深奥質感知覚の実現に向け、機械学習としての事前知識およびエピポーラ幾何等の物理則を活用したベイズ推定を用いた計算機目測手法の導出に注力した。特に、パッシブな観測からの精緻な物体幾何形状の復元を実現すべく、物体表面反射における光の偏光特性を利用する手法の導出をおこなった。一つ目の手法は、偏光カメラを二つ用いた二眼偏光ステレオであり、精緻な偏光反射モデルに基づき、視差と同時に偏光角および偏光度に反映される物体表面反射光の法線依存性を用いることにより、対応点および法線推定を同時におこなうものである。これにより、精緻な物体形状を復元できることを示し、人の顔など、表面形状が変化する動的な物体をただ2つの偏光カメラで撮像するだけで形状復元できることを示した。二つ目の手法は、屋外の晴天における空の偏光分布を利用した手法であり、偏光角および偏光度が方向により変化する光源状況において、パッシブに撮像された単一の偏光画像から、物体の法線分布を復元できることを示したものである。本研究も空の偏光分布を考慮して導出した偏光反射モデルに基づいており、屋外で撮像された単一画像から精緻な物体表面形状を得られることに特徴があり、動的な形状変化も捉えることができる。さらに、第三者視点からの対象者の目の観察に依らない注意方向推定および注意物体検出手法の導出を、眼球と体及び頭の向きの連動を学習することにより実現した。これにより、監視カメラ等、遠くからパッシブに撮像された自由行動する人物の視線を追うことができ、人物行動理解や意図推定の基盤技術となる。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

日常物体の精緻な形状復元をおこなう手法を二つ導出し、それらの有効性を実証した。また、部屋の四隅に配置したカメラを用いて、部屋内で行動する人物の視線行動を追跡できることを示した。これらの結果は国際会議論文として採択されている。これらの研究成果により、当初計画通り研究が順調に進展していると判断する。

Strategy for Future Research Activity

当初計画通り、非実体深奥質感および実体深奥質感の計算機視覚による知覚実現に向け、特に主に物体の見えからの環境や物体の物理的特性の推定、ならびに第三者視点からの人物行動理解を中心に、計画された研究項目に従い研究を進めていく予定である。

  • Research Products

    (9 results)

All 2021 Other

All Int'l Joint Research (1 results) Journal Article (4 results) (of which Peer Reviewed: 4 results) Presentation (3 results) (of which Int'l Joint Research: 3 results) Patent(Industrial Property Rights) (1 results)

  • [Int'l Joint Research] Rutgers University(米国)

    • Country Name
      U.S.A.
    • Counterpart Institution
      Rutgers University
  • [Journal Article] Non-Rigid Shape From Water2021

    • Author(s)
      Meng-Yu Jennifer Kuo, Ryo Kawahara , Shohei Nobuhara , Ko Nishino
    • Journal Title

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      Volume: 7(43) Pages: 2220-2232

    • DOI

      10.1109/TPAMI.2021.3075450

    • Peer Reviewed
  • [Journal Article] Invertible Neural BRDF for Object Inverse Rendering2021

    • Author(s)
      Zhe Chen, Shohei Nobuhara, Ko Nishino
    • Journal Title

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      Volume: online first Pages: 1-16

    • DOI

      10.1109/TPAMI.2021.3129537

    • Peer Reviewed
  • [Journal Article] Human object interaction detection with missing objects2021

    • Author(s)
      Kaen Kogashi, Yang Wu, Shohei Nobuhara, Ko Nishino
    • Journal Title

      Image and Vision Computing

      Volume: 113 Pages: 109

    • DOI

      10.1016/j.imavis.2021.104262

    • Peer Reviewed
  • [Journal Article] Surface Normals and Shape From Water2021

    • Author(s)
      Meng-Yu Jennifer Kuo, Satoshi Murai, Ryo Kawahara, Shohei Nobuhara, Ko Nishino
    • Journal Title

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      Volume: online first Pages: 1-12

    • DOI

      10.1109/TPAMI.2021.3121963

    • Peer Reviewed
  • [Presentation] Polarimetric Normal Stereo2021

    • Author(s)
      Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara, Ko Nishino
    • Organizer
      IEEE/CVF Conference on Computer Vision and Pattern Recognition
    • Int'l Joint Research
  • [Presentation] Shape from Sky: Polarimetric Normal Recovery Under The Sky2021

    • Author(s)
      Tomoki Ichikawa, Matthew Purri, Ryo Kawahara, Shohei Nobuhara, Kristin Dana, Ko Nishino,
    • Organizer
      IEEE/CVF Conference on Computer Vision and Pattern Recognition
    • Int'l Joint Research
  • [Presentation] Human-Object Interaction Detection with Missing Objects2021

    • Author(s)
      Kaen Kogashi, Yang Wu, Shohei Nobuhara, Ko Nishino
    • Organizer
      International Conference on Machine Vision Applications
    • Int'l Joint Research
  • [Patent(Industrial Property Rights)] 情報処理装置、情報処理方法および情報処理プログラム2021

    • Inventor(s)
      西野恒、延原章平、川原僚、深尾圭貴
    • Industrial Property Rights Holder
      西野恒、延原章平、川原僚、深尾圭貴
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2021-91519

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi