• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

自己視点・他者視点・固定視点映像の統合解析による人物行動センシング

研究課題

研究課題/領域番号 20H04205
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61010:知覚情報処理関連
研究機関東京大学

研究代表者

佐藤 洋一  東京大学, 生産技術研究所, 教授 (70302627)

研究分担者 菅野 裕介  東京大学, 生産技術研究所, 准教授 (10593585)
研究期間 (年度) 2020-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)
2023年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2022年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2021年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2020年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円)
キーワード一人称視点映像解析 / 人物行動理解 / 人物行動センシング / 動作認識 / 複数視点統合 / コンピュータビジョン
研究開始時の研究の概要

映像解析による人物行動センシングは様々な応用分野で欠くことのできない基盤技術となっている。しかしながら、これまでは固定視点映像、自己視点映像、他者視点映像という異なる視点からの映像が個別に用いられていたため、センシングされる行動の粒度や継続性等の限界が存在した。また、人とのインタラクションにおける行動について、単一の自己視点映像や他者視点映像では、互いとのやり取りの中での解析が出来なかった。本研究課題では、固定視点・自己視点・他者視点という異なる視点映像の統合解析を他に先駆けて実現し、これまでの映像からの人物行動センシングが抱えるこれらの課題の解決を目指す。

研究成果の概要

本研究課題では、自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングに向けて、研究項目1.自己教師有り学習による複数視点映像の総合解析に適した特量表現学習、研究項目2.異なる視点の映像間でのアラインメント、研究項目3.自己視点映像と固定視点映像の統合による人物行動センシング、研究項目4.自己視点映像と他者視点映像の統合によるインタラクション解析、の4項目について研究に取り組み成果を得た。

研究成果の学術的意義や社会的意義

映像に基づく人物行動理解技術は、様々なアプリケーションドメインにおいて書くことが出来ない重要な基盤技術であり、これまでもコンピュータビジョンの分野において活発に研究が進められてきた。これまでは、固定視点映像、自己視点映像、他者視点映像という異なる視点映像が別々に扱われていたのに対し、本研究課題では、他に先駆けて固定視点・自己視点・他者視点という異なる視点映像の統合解析に取り組み、映像に基づく人物行動理解の高度化に貢献する成果を得ることができた。

報告書

(5件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実績報告書
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (25件)

すべて 2023 2022 2021 2020

すべて 雑誌論文 (3件) (うち国際共著 1件、 査読あり 3件、 オープンアクセス 1件) 学会発表 (22件) (うち国際学会 15件、 招待講演 1件)

  • [雑誌論文] Semantic Image Segmentation by Dynamic Discriminative Prototypes2023

    • 著者名/発表者名
      Kaipeng Zhang and Yoichi Sato
    • 雑誌名

      IEEE Transactions on Multimedia

      巻: 26 ページ: 737-749

    • DOI

      10.1109/tmm.2023.3270637

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey2023

    • 著者名/発表者名
      Ohkawa Takehiko、Furuta Ryosuke、Sato Yoichi
    • 雑誌名

      International Journal of Computer Vision

      巻: 131 号: 12 ページ: 3193-3206

    • DOI

      10.1007/s11263-023-01856-0

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Spatio-Temporal Perturbations for Video Attribution2022

    • 著者名/発表者名
      Zhenqiang Li, Weimin Wang, Zuoyue Li, Yifei Huang, and Yoichi Sato
    • 雑誌名

      IEEE Transactions on Circuits and Systems for Video Technology

      巻: 32 号: 4 ページ: 2043-2056

    • DOI

      10.1109/tcsvt.2021.3081761

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [学会発表] Weakly Supervised Temporal Sentence Grounding with Uncertainty-Guided Self-training2023

    • 著者名/発表者名
      Yifei Huang, Lijin Yang, and Yoichi Sato
    • 学会等名
      IEEE/CVF Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] DeCo : Decomposition and Reconstruction for Compositional Temporal Grounding via Coarse-to-Fine Contrastive Ranking2023

    • 著者名/発表者名
      Lijin Yang, Quang Kong, Hsuan-Kung Yang, Wadim Kehl, Yoichi Sato, and Norimasa Kobori
    • 学会等名
      IEEE/CVF Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] FineBio: A Fine-Grained Video Dataset of Biological Experiments with Hierarchical Annotations2023

    • 著者名/発表者名
      Takuma Yagi, Misaki Ohashi, Yifei Huang, Ryosuke Furuta, Shungo Adachi, Toutai Mitsuyama, and Yoichi Sato
    • 学会等名
      Joint International 3rd Ego4D and 11th EPIC Workshop
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Proposal-based Temporal Action Localization with Point-level Supervision2023

    • 著者名/発表者名
      Yuan Yin, Yifei Huang, Ryosuke Furuta, and Yoichi Sato
    • 学会等名
      British Machine Vision Conference
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 大規模言語モデルを用いた学習カテゴリの自動決定による映像からのオープン語彙物体状態認識2023

    • 著者名/発表者名
      舘野将寿、八木拓真、古田諒佑、佐藤洋一
    • 学会等名
      画像の認識・理解シンポジウム
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 一人称視点映像を対象としたfew-shotアクティビティ認識2023

    • 著者名/発表者名
      佐藤禎哉、高木基宏、古田諒佑、菅野裕介、佐藤洋一
    • 学会等名
      画像の認識・理解シンポジウム
    • 関連する報告書
      2023 実績報告書
  • [学会発表] FineBio: A Fine-Grained Video Dataset of Biological Experiments with Hierarchical Annotation2023

    • 著者名/発表者名
      八木 拓真, 大橋 実咲, 黄 逸飛, 古田 諒佑, 足達 俊吾, 光山 統泰, 佐藤 洋一
    • 学会等名
      日本バイオインフォマティクス学会年会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] FineBio:密な階層アノテーションを付与したバイオ実験映像データセット2023

    • 著者名/発表者名
      八木 拓真, 大橋 実咲, 黄 逸飛, 古田 諒佑, 足達 俊吾, 光山 統泰, 佐藤 洋一
    • 学会等名
      日本分子生物学会年会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Compound Prototype Matching for Few-shot Action Recognition2022

    • 著者名/発表者名
      Yifei Huang, Lijin Yang, and Yoichi Sato
    • 学会等名
      European Conference on Computer Vision (ECCV 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Interact before Align: Leveraging Cross-Modal Knowledge for Domain Adaptive Action Recognition2022

    • 著者名/発表者名
      Lijin Yang, Yifei Huang, Yusuke Sugano, and Yoichi Sato
    • 学会等名
      IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Fine-grained Affordance Annotation for Egocentric Hand-Object Interaction Videos2022

    • 著者名/発表者名
      Zecheng Yu, Yifei Huang, Ryosuke Furuta, Takuma Yagi, Yusuke Gotsu, and Yoichi Sato
    • 学会等名
      IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2023)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Domain Adaptive Hand Keypoint and Pixel Localization in the Wild2022

    • 著者名/発表者名
      Takehiko Ohkawa, Yu-Jhe Li, Qichen Fu, Ryosuke Furuta, Kris Kitani, and Yoichi Sato
    • 学会等名
      European Conference on Computer Vision (ECCV 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Surgical Skill Assessment via Video Semantic Aggregation2022

    • 著者名/発表者名
      Zhenqiang Li, Ling Gu, Weimin Wang, Ryosuke Nakamura, and Yoichi Sato
    • 学会等名
      International Conference on Medical Computing and Computer Assisted Invention (MICCAI 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction2021

    • 著者名/発表者名
      Takuma Yagi, Md Tasnimul Hasan, and Yoichi Sato
    • 学会等名
      British Machine Vision Conference (BMVC 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Stacked Temporal Attention: Improving First-person Action Recognition by Emphasizing Discriminative Clips2021

    • 著者名/発表者名
      Lijin Yang, Yifei Huang, Yusuke Sugano, and Yoichi Sato
    • 学会等名
      British Machine Vision Conference (BMVC 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Neural Routing by Memory2021

    • 著者名/発表者名
      Kaipeng Zhang, Zhenqiang Li, Zhifeng Li, Wei Liu, and Yoichi Sato
    • 学会等名
      The 35th Conference on Neural Information Processing Systems (NeurIPS 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 誘導付き逐次ラベル訂正に基づく映像からの手・物体接触判定2021

    • 著者名/発表者名
      八木拓真、Md. Tasnimul Hasan、佐藤洋一
    • 学会等名
      画像の認識・理解シンポジウム(MIRU 2021)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Cross-view Non-local Neural Networks for Joint Representation Learning between First and Third Person Videos2021

    • 著者名/発表者名
      Zhehao Zhu, Yusuke Sugano and Yoichi Sato
    • 学会等名
      画像の認識・理解シンポジウム(MIRU 2021)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Cross-View Non-Local Neural Networks for Joint Representation Learning Between First and Third Person Videos2021

    • 著者名/発表者名
      Zhehao Zhu, Yusuke Sugano, and Yoichi Sato
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Toward Visually Explaining Video Classification Networks by Pertubation-based Method2021

    • 著者名/発表者名
      Zhenqiang Li, Weimin Wang, Zuoyue Li, Yifei Huang, and Yoichi Sato
    • 学会等名
      IEEE Winter Conference on Applications of Computer Vision (WACV 2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Improving Action Segmentation via Graph Based Temporal Reasoning2020

    • 著者名/発表者名
      Yifei Huang, Yusuke Sugano, and Yoichi Sato
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2020)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Analyzing Human Activity and Attention from First-Person Perspectives2020

    • 著者名/発表者名
      Yoichi Sato
    • 学会等名
      International Workshop on Egocentric Perception, Interaction and Computing
    • 関連する報告書
      2020 実績報告書
    • 国際学会 / 招待講演

URL: 

公開日: 2020-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi