• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Annual Research Report

自己視点・他者視点・固定視点映像の統合解析による人物行動センシング

Research Project

Project/Area Number 20H04205
Research InstitutionThe University of Tokyo

Principal Investigator

佐藤 洋一  東京大学, 生産技術研究所, 教授 (70302627)

Co-Investigator(Kenkyū-buntansha) 菅野 裕介  東京大学, 生産技術研究所, 准教授 (10593585)
Project Period (FY) 2020-04-01 – 2024-03-31
Keywords人物行動センシング / 動作認識 / 一人称視点映像解析 / 複数視点統合
Outline of Annual Research Achievements

本研究課題では、自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングに向けて、研究項目1.自己教師有り学習による複数視点映像の総合解析に適した特量表現学習、研究項目2.異なる視点の映像間でのアラインメント、研究項目3.自己視点映像と固定視点映像の統合による人物行動センシング、研究項目4.自己視点映像と他者視点映像の統合によるインタラクション解析、の4項目について研究に取り組むことを予定している。2021年度は、2020年度から継続した取り組みとして、Cross-View Non-Localネットワークによる自己視点映像と固定外部視点映像からの特徴学習手法の拡張に取り組んだ。また、研究項目3の人物行動センシングについて、Stacked Temporal Attentionと呼ばれる動作認識手法を提案し、一人称視点映像からの動作認識のタスクにおいて、既存手法を越える性能を達成することに成功した。また、手による物体操作を伴う行動の理解に向けて、一人称視点映像からの手と操作物体のコンタクト状態推定に関する研究に取り組み、手・物体コンタクト状態推定のためのデータセットの構築とコンタクト状態推定手法の開発で成果を得た。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究項目1の自己教師有り学習による複数視点映像の総合解析に適した特徴表現学習について、Cross-View Non-Localネットワークによる特徴学習手法の拡張で成果を得た。また、研究項目3の自己視点映像と固定視点映像の統合による人物行動センシングについて、動作認識タスクに対してStacked Temporal Attentionと呼ばれるアプローチを新たに考案し、既存手法を越える高い認識精度を達成した。さらに、人物行動センシングの基盤技術の一つとして手と操作物体のコンタクト状態推定手法を開発した。一方、研究項目2の異なる視点の映像間でのアラインメントに関しては取り組みを進めることが出来なかったが、全体として概ね順調に進展していると考える。

Strategy for Future Research Activity

おおむね、研究計画通り進めることが出来ており、今後は獲得された特徴量表現を用いて、複数視点映像を入力とした動作検出・動作認識のための手法の開発や、それを用いた人対人のインタラクション解析に取り組むことを予定している。

  • Research Products

    (5 results)

All 2021

All Presentation (5 results) (of which Int'l Joint Research: 3 results)

  • [Presentation] Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction2021

    • Author(s)
      Takuma Yagi, Md Tasnimul Hasan, and Yoichi Sato
    • Organizer
      British Machine Vision Conference (BMVC 2021)
    • Int'l Joint Research
  • [Presentation] Stacked Temporal Attention: Improving First-person Action Recognition by Emphasizing Discriminative Clips2021

    • Author(s)
      Lijin Yang, Yifei Huang, Yusuke Sugano, and Yoichi Sato
    • Organizer
      British Machine Vision Conference (BMVC 2021)
    • Int'l Joint Research
  • [Presentation] Neural Routing by Memory2021

    • Author(s)
      Kaipeng Zhang, Zhenqiang Li, Zhifeng Li, Wei Liu, and Yoichi Sato
    • Organizer
      The 35th Conference on Neural Information Processing Systems (NeurIPS 2021)
    • Int'l Joint Research
  • [Presentation] 誘導付き逐次ラベル訂正に基づく映像からの手・物体接触判定2021

    • Author(s)
      八木拓真、Md. Tasnimul Hasan、佐藤洋一
    • Organizer
      画像の認識・理解シンポジウム(MIRU 2021)
  • [Presentation] Cross-view Non-local Neural Networks for Joint Representation Learning between First and Third Person Videos2021

    • Author(s)
      Zhehao Zhu, Yusuke Sugano and Yoichi Sato
    • Organizer
      画像の認識・理解シンポジウム(MIRU 2021)

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi