• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

適応的な人物行動理解に向けたスキル発見と転移

研究課題

研究課題/領域番号 22KJ0999
配分区分基金
研究機関東京大学

研究代表者

大川 武彦  東京大学, 情報理工学系研究科, 特別研究員(DC1)

研究期間 (年度) 2023-03-08 – 2025-03-31
キーワード手・物体操作理解 / 一人称ビジョン
研究実績の概要

今年度は,これまでの採用期間で開発した手操作認識モデルに関する知見をサーベイという形式でまとめ,さらなる発展領域である行動認識,マルチビュー画像に基づく手認識に関する研究を行なった.第一に,前年度の研究を深化させ,国際学会ICCV 2023にて手操作認識に関するワークショップ,そして一人称視点手姿勢推定に関するコンペティションを開催した.手操作認識に関するサーベイをトップジャーナルであるIJCVにて出版した.さらに,このコンペティションから派生して,マルチビューの一人称視点手姿勢推定タスクをCVPR 2024にて発表予定である.第二に,手操作認識の時間拡張,行動理解との接続に関する研究を実施した.実際の調理映像から手物体の位置情報をトラッキングして,キャプションとしての作業動作記述する手法を提案した.本研究はCVPR2024のワークショップにて発表予定である.

また,今年度は,チューリッヒ工科大学の訪問研究員としてスイスへ滞在し,マイクロソフトリサーチアジアも含めた共同研究という形式で研究を実施した.さらにシンガポール国立大学におけるセミナー講演や,国際会議ICCV, 国際研究会ICVSSにおける発表など行い,自身の研究のアウトリーチの良い機会となった.一人称視点調理映像データセット構築のプロジェクトに関しては,オムロンサイニックエックス社と産学連携して,被験者を集めて映像収録,アノテーションを行い,作業内容の解析を行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

前年度から継続して手認識に関する研究を行い,トップジャーナル,国際会議に採択された.また,手認識からの行動認識への接続に関する発展研究も実施した.さらに,国際ワークショップ主催やチューリッヒ工科大学での訪問研究,シンガポール国立大学や国際研究会ICVSSにおける発表など,自身の研究をアウトリーチする経験を多数持つことができ,研究者間のネットワーク作りにも努めた.

今後の研究の推進方策

引き続き,行動認識モデルの開発を進めて,アノテーションが限られる映像への行動認識モデルの転移学習手法の開発にも取り組む.近年,大規模な視覚言語モデルの開発が進み,広く応用されていることから,行動認識を自然言語で記述して実現する方針についても検討する.

次年度使用額が生じた理由

購入予定の計算機の納品が遅れたため,繰越分は次年度に計算機の購入に充てる予定である.

  • 研究成果

    (8件)

すべて 2024 2023 その他

すべて 国際共同研究 (2件) 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (4件) (うち国際学会 3件、 招待講演 1件) 学会・シンポジウム開催 (1件)

  • [国際共同研究] スイス連邦工科大学チューリッヒ校(スイス)

    • 国名
      スイス
    • 外国機関名
      スイス連邦工科大学チューリッヒ校
  • [国際共同研究] マイクロソフトリサーチアジア(中国)

    • 国名
      中国
    • 外国機関名
      マイクロソフトリサーチアジア
  • [雑誌論文] Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey2023

    • 著者名/発表者名
      Ohkawa Takehiko、Furuta Ryosuke、Sato Yoichi
    • 雑誌名

      International Journal of Computer Vision

      巻: 131 ページ: 3193~3206

    • DOI

      10.1007/s11263-023-01856-0

    • 査読あり / オープンアクセス
  • [学会発表] Single-to-Dual-View Adaptation for Egocentric 3D Hand Pose Estimation2024

    • 著者名/発表者名
      Ruicong Liu, Takehiko Ohkawa, Mingfang Zhang, Yoichi Sato
    • 学会等名
      IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
    • 国際学会
  • [学会発表] Dense Video Captioning of Egocentric Procedural Activities Using Web Instructional Videos2024

    • 著者名/発表者名
      Takehiko Ohkawa, Takuma Yagi, Taichi Nishimura, Ryosuke Furuta, Atsushi Hashimoto, Yoshitaka Ushiku, Yoichi Sato
    • 学会等名
      IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)
    • 国際学会
  • [学会発表] AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation2023

    • 著者名/発表者名
      Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin
    • 学会等名
      International Computer Vision Summer School (ICVSS)
    • 国際学会
  • [学会発表] Domain Adaptive Hand Keypoint and Pixel Localization in the Wild2023

    • 著者名/発表者名
      Takehiko Ohkawa, Yu-Jhe Li, Qichen Fu, Ryosuke Furuta, Kris M. Kitani, and Yoichi Sato
    • 学会等名
      Meeting on Image Recognition and Understanding (MIRU)
    • 招待講演
  • [学会・シンポジウム開催] 7th International Workshop on Observing and Understanding Hands in Action (HANDS), International Conference on Computer Vision 20232023

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi