• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

自己視点・他者視点・固定視点映像の統合解析による人物行動センシング

Research Project

Project/Area Number 20H04205
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionThe University of Tokyo

Principal Investigator

佐藤 洋一  東京大学, 生産技術研究所, 教授 (70302627)

Co-Investigator(Kenkyū-buntansha) 菅野 裕介  東京大学, 生産技術研究所, 准教授 (10593585)
Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000)
Fiscal Year 2022: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2021: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2020: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Keywords一人称視点映像解析 / 人物行動センシング / 動作認識 / 複数視点統合 / コンピュータビジョン
Outline of Research at the Start

映像解析による人物行動センシングは様々な応用分野で欠くことのできない基盤技術となっている。しかしながら、これまでは固定視点映像、自己視点映像、他者視点映像という異なる視点からの映像が個別に用いられていたため、センシングされる行動の粒度や継続性等の限界が存在した。また、人とのインタラクションにおける行動について、単一の自己視点映像や他者視点映像では、互いとのやり取りの中での解析が出来なかった。本研究課題では、固定視点・自己視点・他者視点という異なる視点映像の統合解析を他に先駆けて実現し、これまでの映像からの人物行動センシングが抱えるこれらの課題の解決を目指す。

Outline of Annual Research Achievements

本研究課題では、自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングに向けて、研究項目1.自己教師有り学習による複数視点映像の総合解析に適した特量表現学習、研究項目2.異なる視点の映像間でのアラインメント、研究項目3.自己視点映像と固定視点映像の統合による人物行動センシング、研究項目4.自己視点映像と他者視点映像の統合によるインタラクション解析、の4項目について研究に取り組むことを予定している。2020度は、異なる視点映像の統合解析による人物行動センシングの実現に向けて、まず統合解析に適した特徴量表現の獲得を目指し、研究項目1.自己教師有り学習による複数視点映像の総合解析に適した特徴表現学習に取り組んだ。具体的には、自己視点映像と他者視点映像の組み合わせに関して、一対一の対話シーンなどを対象に、各自が装着したウェアラブルカメラで撮影された自己視点映像のペアをもとに、人工的に時間同期をずらしたペアからずれ量を推定するネットワークを学習し、その精度を検証した。今後は獲得された特徴表現を用いた動作認識などのタスクにおける効果検証を進める予定である。また、自己視点映像と固定の外部視点映像からの特徴表現学習に関して、合致する固定視点映像と自己視点映像のペアと合致しないペアを用いた距離学習にNon-Local Blockと呼ばれる重みづけを導入することで、既存手法を越える性能を実現した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究項目1.自己教師有り学習による複数視点映像の総合解析に適した特徴表現学習について、時間同期を手掛かりとした自己教師あり学習による特徴表現学習に取り組み、前段の疑似タスク(pretext task)での性能を確認することが出来た。また、研究項目2.異なる視点の映像間でのアラインメントに関して、当初、自己視点映像と外部固定視点映像間での空間的対応付けに取り組むことを予定していたが、研究項目1に関連して、自己視点映像と固定の外部視点映像からの特徴表現学習を優先することとし、成果を得ることが出来た。

Strategy for Future Research Activity

おおむね、研究計画通り進めることが出来ており、今後は獲得された特徴量表現を用いて、複数視点映像を入力とした動作検出・動作認識のための手法の開発や、それを用いた人対人のインタラクション解析に取り組むことを予定している。

Report

(1 results)
  • 2020 Annual Research Report

Research Products

(4 results)

All 2021 2020

All Presentation (4 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results)

  • [Presentation] Cross-View Non-Local Neural Networks for Joint Representation Learning Between First and Third Person Videos2021

    • Author(s)
      Zhehao Zhu, Yusuke Sugano, and Yoichi Sato
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Toward Visually Explaining Video Classification Networks by Pertubation-based Method2021

    • Author(s)
      Zhenqiang Li, Weimin Wang, Zuoyue Li, Yifei Huang, and Yoichi Sato
    • Organizer
      IEEE Winter Conference on Applications of Computer Vision (WACV 2021)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Improving Action Segmentation via Graph Based Temporal Reasoning2020

    • Author(s)
      Yifei Huang, Yusuke Sugano, and Yoichi Sato
    • Organizer
      IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2020)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Analyzing Human Activity and Attention from First-Person Perspectives2020

    • Author(s)
      Yoichi Sato
    • Organizer
      International Workshop on Egocentric Perception, Interaction and Computing
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research / Invited

URL: 

Published: 2020-04-28   Modified: 2022-04-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi