• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実績報告書

手操作に着目した物体状態変化検出および人物行動予測

研究課題

研究課題/領域番号 21J11626
研究機関東京大学

研究代表者

八木 拓真  東京大学, 情報理工学系研究科, 特別研究員(DC2)

研究期間 (年度) 2021-04-28 – 2023-03-31
キーワード手-物体インタラクション / 動画像理解 / 一人称ビジョン / 接触判定
研究実績の概要

2021年度は、一人称視点映像中において手と物体が触れているか否かを時系列で予測する手-物体接触判定(テーマA)の問題およびテーマBに必要な技術として映像中に出現する物体をインスタンス単位で識別する問題に取り組んだ。
手-物体接触判定では、未知の手と物体の組における接触状態の推論を行うために (i) 手と物体の運動方向の相関による疑似ラベルの生成に基づく半教師あり学習 (ii) 誤りを含む疑似ラベルを少数の正しいラベルを含む訓練データを基に訓練中に逐次的にラベル訂正を行う方法 の2つの提案を行った。また、評価のために自然な調理動作を含むEPIC-KITCHENSデータセット上に新たにアノテーションを付与し、同データセット上で先行手法および教師データのみを用いて訓練した場合と比して高い性能を達成した。
物体インスタンス識別はある物体に対して発生する手-物体インタラクションを長時間追跡するために異なる時刻に出現する同一のインスタンスを識別する上で重要なタスクである。本年度はユーザが物体とインタラクションを行う動的環境においてどの程度インスタンスの識別が行えるかの検証を行った。具体的には、EPIC-KITCHENSデータセット上に新たに1,500以上のインスタンスを含む大規模かつ挑戦的なベンチマークを構築し、表現学習に基づく高精度を達成するベースラインモデルおよび本ベンチマークに出現する特有の難しさの分析を行った。
当初予定していた作用物体の検出(テーマA後半)、物体状態変化検出(テーマB)、人物行動予測(テーマC)については採用終了のため着手できなかった。

現在までの達成度 (段落)

翌年度、交付申請を辞退するため、記入しない。

今後の研究の推進方策

翌年度、交付申請を辞退するため、記入しない。

  • 研究成果

    (5件)

すべて 2022 2021

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 2件) 学会発表 (2件) (うち招待講演 1件)

  • [雑誌論文] GO-Finder: A Registration-Free Wearable System for Assisting Users in Finding Lost Hand-Held Objects2022

    • 著者名/発表者名
      Yagi Takuma、Nishiyasu Takumi、Kawasaki Kunimasa、Matsuki Moe、Sato Yoichi
    • 雑誌名

      ACM Transactions on Interactive Intelligent Systems

      巻: 1 ページ: 1-29

    • DOI

      10.1145/3519268

    • 査読あり
  • [雑誌論文] Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction2021

    • 著者名/発表者名
      Takuma Yagi, Md.Tasnimul Hasan, Yoichi Sato
    • 雑誌名

      Proceedings of British Machine Vision Conference

      巻: 1 ページ: 1-14

    • 査読あり / オープンアクセス
  • [雑誌論文] GO-Finder: A Registration-Free Wearable System for Assisting Users in Finding Lost Objects via Hand-Held Object Discovery2021

    • 著者名/発表者名
      Yagi Takuma、Nishiyasu Takumi、Kawasaki Kunimasa、Matsuki Moe、Sato Yoichi
    • 雑誌名

      Proceedings of the 26th International Conference on Intelligent User Interfaces

      巻: 1 ページ: 139-149

    • DOI

      10.1145/3397481.3450664

    • 査読あり / オープンアクセス
  • [学会発表] 誘導付き逐次ラベル訂正に基づく映像からの手-物体接触判定2021

    • 著者名/発表者名
      八木拓真, Md. Tasnimul Hasan, 佐藤洋一
    • 学会等名
      第24回画像の認識・理解シンポジウム
  • [学会発表] GO-Finder: Registration-Free Wearable System for Assisting Users in Finding Lost Objects via Hand-Held Object Discovery2021

    • 著者名/発表者名
      八木拓真,西保匠,川崎邦将,松木萌,佐藤洋一
    • 学会等名
      第24回画像の認識・理解シンポジウム
    • 招待講演

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi