• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

能動的Open-world認識による知識拡張・環境認識基盤の構築

研究課題

研究課題/領域番号 24H00733
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
審査区分 中区分61:人間情報学およびその関連分野
研究機関立命館大学 (2026)
国立研究開発法人理化学研究所 (2024-2025)

研究代表者

川西 康友  立命館大学, 情報理工学部, 教授 (50755147)

研究分担者 井手 一郎  名古屋大学, 情報学研究科, 教授 (10332157)
出口 大輔  名古屋大学, 情報学研究科, 准教授 (20437081)
KASTNER MarcAurel  広島市立大学, 情報科学研究科, 講師 (30966700)
吉野 幸一郎  大阪大学, 大学院基礎工学研究科, 教授 (70760148)
薗頭 元春  国立研究開発法人理化学研究所, 情報統合本部, 研究員 (90908344)
研究期間 (年度) 2024-04-01 – 2029-03-31
研究課題ステータス 交付 (2026年度)
配分額 *注記
47,450千円 (直接経費: 36,500千円、間接経費: 10,950千円)
2026年度: 9,750千円 (直接経費: 7,500千円、間接経費: 2,250千円)
2025年度: 9,620千円 (直接経費: 7,400千円、間接経費: 2,220千円)
2024年度: 8,840千円 (直接経費: 6,800千円、間接経費: 2,040千円)
キーワード能動的Open-world認識 / 環境認識 / 知識拡張 / Open-set / Open-vocabulary / 未知物体検出 / 行動認識
研究開始時の研究の概要

本研究では,これまでの未知物体認識・対応付け技術を発展させ,人のように能動的に周囲の環境を観測し,知識を拡張しながら環境理解を可能にする「能動的Open-world認識」の実現を目的とし,ロボットへの実装を通して,実世界で長期間一貫した認識ができるAIシステムの実現を目指す.具体的には,マルチモーダルデータ収集環境構築,センサ制御を伴う能動的Open-set認識技術,長期間の観測に基づく能動的Open-vocabulary認識技術,の3つの課題に取り組む.

研究実績の概要

今年度は,既存のデータセットを活用しつつ,新たなデータセット撮影について検討した.
また,人の行動認識に関する研究として,既存の公開データセットを使い,複数視点から得た動画をもとに行動認識する研究,特に系列単位のラベルしかついていないものに対し,フレーム単位のラベル推定を実現した.さらに,この研究を進めるために,宅内に複数のカメラを設置して,その中で行われる日常行動を同期撮影したデータセットを試験的に作成した.また,これに付随して,様々な状況での人物姿勢推定を実現するため,遠方にいる低解像度人物の姿勢推定手法を提案.
一方で,物体認識のOpen-set化に関する取り組みとして,物体検出だけでなくシーングラフを推定する事により,検出された物体が誤検出なのか,未学習の物体なのかを判定する手法を提案した.これにより,Open-setでの物体検出を高精度化した.さらに,シーンの3D CGを用いたシミュレーションによりデータを作成し,空間中の物体をOpen-vocabularyで検索する手法について検討を進めている.

現在までの達成度
現在までの達成度

2: おおむね順調に進展している

理由

研究実績の概要に示した通り,データセットの撮影に関する検討や,Open-set物体検出,行動認識に関しては複数の成果が出ている.また,CG空間でのシミュレーションの活用についても着手している.

今後の研究の推進方策

2024年度は,検出した未学習の物体に対してクラスタリングをし,未学習カテゴリのデータを作成したり,その未学習カテゴリに適切な名前を付与することに関しては十分に取り組めていなかったため,今後この部分に着手する予定である.

報告書

(2件)
  • 2024 審査結果の所見   実績報告書
  • 研究成果

    (20件)

すべて 2025 2024

すべて 雑誌論文 (4件) (うち査読あり 2件、 オープンアクセス 4件) 学会発表 (16件) (うち国際学会 7件、 招待講演 3件)

  • [雑誌論文] Semantic matters: A constrained approach for zero-shot video action recognition2025

    • 著者名/発表者名
      Quan Zhenzhen、Chen Jialei、Deguchi Daisuke、Sun Jie、Zhang Chenkai、Li Yujun、Murase Hiroshi
    • 雑誌名

      Pattern Recognition

      巻: 162 ページ: 111402-111402

    • DOI

      10.1016/j.patcog.2025.111402

    • 関連する報告書
      2024 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Relationship-Aware Unknown Object Detection for Open-Set Scene Graph Generation2024

    • 著者名/発表者名
      Sonogashira Motoharu、Iiyama Masaaki、Kawanishi Yasutomo
    • 雑誌名

      IEEE Access

      巻: 12 ページ: 122513-122523

    • DOI

      10.1109/access.2024.3450908

    • 関連する報告書
      2024 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Action Selection Learning for Multi-label Multi-view Action Recognition2024

    • 著者名/発表者名
      Trung Thanh Nguyen, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
    • 雑誌名

      arXiv

      巻: arXiv:2410.03302 ページ: 1-8

    • 関連する報告書
      2024 実績報告書
    • オープンアクセス
  • [雑誌論文] One-Stage Open-Vocabulary Temporal Action Detection Leveraging Temporal Multi-scale and Action Label Features2024

    • 著者名/発表者名
      Trung Thanh Nguyen, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
    • 雑誌名

      arXiv

      巻: arxiv:2405.17323 ページ: 1-10

    • 関連する報告書
      2024 実績報告書
    • オープンアクセス
  • [学会発表] Human Pose Estimation from an Extremely Low-resolution Image Sequence by Pose Transition Embedding Network2025

    • 著者名/発表者名
      Yasutomo Kawanishi, Hitoshi Nishimura, Hiroshi Murase
    • 学会等名
      The 20th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] Towards Visual Storytelling by Understanding Narrative Context through Scene-Graphs2025

    • 著者名/発表者名
      Itthisak Phueaksri, Marc A. Kastner, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
    • 学会等名
      The 31st International Conference on Multimedia Modeling
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] 大域・局所特徴統合埋め込みに基づくオープン語彙時系列行動検出2025

    • 著者名/発表者名
      グエン チュン タイン, 川西 康友, 駒水 孝裕, 井手 一郎
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 形容詞の視覚的な多様性の定量化に向けた検討2025

    • 著者名/発表者名
      田中 優衣, カストナー マークアウレル, 川西 康友, 駒水 孝裕, 井手 一郎
    • 学会等名
      2025年電子情報通信学会総合大会
    • 関連する報告書
      2024 実績報告書
  • [学会発表] A Cross-Modal Knowledge Distillation Approach for RGB-to-Infrared Video Action Recognition2025

    • 著者名/発表者名
      Zhenzhen Quan, Daisuke Deguchi, Jialei Chen, Chenkai Zhang, Yujun Li, Seigo Ito, Hiroshi Murase
    • 学会等名
      The 30th Korea-Japan Joint Workshop on Frontiers of Computer Vision
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] Multi-group Vision Semantic Centroid for Semantic Segmentation2025

    • 著者名/発表者名
      Jialei Chen, Daisuke Deguchi, Chenkai Zhang, Zhenzhen Quan, Seigo Ito, Hiroshi Murase
    • 学会等名
      The 30th Korea-Japan Joint Workshop on Frontiers of Computer Vision
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] Action Selection Learning for Multi-label Multi-view Action Recognition2024

    • 著者名/発表者名
      Trung Thanh Nguyen, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
    • 学会等名
      The ACM Multimedia Asia 2024
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] One-stage open-vocabulary temporal action detection leveraging temporal multi-scale and action label features2024

    • 著者名/発表者名
      Trung Thanh Nguyen, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
    • 学会等名
      The 18th IEEE International Conference on Automatic Face and Gesture Recognition
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] Scene Understanding Research in RIKEN Guardian Robot Project and Nagoya University2024

    • 著者名/発表者名
      Yasutomo Kawanishi
    • 学会等名
      Seminar at AI4LIFE
    • 関連する報告書
      2024 実績報告書
    • 招待講演
  • [学会発表] Robotics and Digital Humanities Research in MDR Lab2024

    • 著者名/発表者名
      Yasutomo Kawanishi
    • 学会等名
      Robotics for Digital Humanities Research, NTU Digital Humanities Research Center Mini Symposium
    • 関連する報告書
      2024 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] ロボットによる実世界理解とコンピュータビジョンの異分野への応用2024

    • 著者名/発表者名
      川西 康友
    • 学会等名
      星間データサイエンス研究会2024
    • 関連する報告書
      2024 実績報告書
    • 招待講演
  • [学会発表] 広域多視点マルチモーダル行動認識のためのセンサ統合手法とMultiSensor-Home データセットの提案2024

    • 著者名/発表者名
      グエン チュン タイン, 川西 康友, ビジェイ ジョン, 駒水 孝裕, 井手 一郎
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会
    • 関連する報告書
      2024 実績報告書
  • [学会発表] Toward Visual Storytelling using Scene-Graph Contexts2024

    • 著者名/発表者名
      Itthisak Phueaksri, Marc A. Kastner, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
    • 学会等名
      第27回画像の認識・理解シンポジウム(MIRU2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] Pseudo-label-based training for unknown-aware scene graph generation2024

    • 著者名/発表者名
      Motoharu Sonogashira, Masaaki Iiyama, Yasutomo Kawanishi
    • 学会等名
      第27回画像の認識・理解シンポジウム(MIRU2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] A Decoupled Knowledge Distillation Approach for RGB-to-Infrared Video Action Recognition2024

    • 著者名/発表者名
      Zhenzhen Quan, Jialei Chen, Chenkai Zhang, Daisuke Deguchi, Hiroshi Murase
    • 学会等名
      第27回画像の認識・理解シンポジウム(MIRU2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] Distill from CLIP by Token Alignment for Inductive Zero-shot Semantic Segmentation2024

    • 著者名/発表者名
      Jialei Chen, Daisuke Deguchi, Chenkai Zhang, Zhenzhen Quan, Hiroshi Murase
    • 学会等名
      第27回画像の認識・理解シンポジウム(MIRU2024)
    • 関連する報告書
      2024 実績報告書

URL: 

公開日: 2024-04-05   更新日: 2026-07-08  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi