• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

リアルタイム動物行動解析に向けた圧縮動画による半教師あり学習手法の開発

研究課題

研究課題/領域番号 23K24893
補助金の研究課題番号 22H03637 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分61030:知能情報学関連
研究機関北海道大学

研究代表者

山本 雅人  北海道大学, 情報科学研究院, 教授 (40292057)

研究分担者 飯塚 博幸  北海道大学, 人間知・脳・AI研究教育センター, 特任准教授 (30396832)
田村 康将  北海道大学, 情報科学研究院, 助教 (50773701)
野口 渉  北海道大学, 数理・データサイエンス教育研究センター, 特任助教 (60868082)
研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2024年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2023年度: 7,800千円 (直接経費: 6,000千円、間接経費: 1,800千円)
2022年度: 8,450千円 (直接経費: 6,500千円、間接経費: 1,950千円)
キーワード深層学習 / 半教師あり学習 / 行動分類 / 群行動解析 / 行動認識 / 圧縮動画 / インタラクション / 群れ行動
研究開始時の研究の概要

一般に,学習するデータに行動ラベルを付与しない教師なし学習では,収集されたデータをクラスタリングするなどして同様の性質をもつデータ群に分けることによって行う.しかし,動画の行動分類へ適用するためには,クラスタリングされたデータ群が分類したい行動と対応しているかの保証がないため望ましい分類にはならない.本研究では,この問題を解決するため,一連の動画データに対して,教師あり学習と教師なし学習の利点をうまく融合した半教師あり学習の開発を目指す.すなわち,「恒常的に撮影され,かつ,行動の区切りなどが明確でない動画データをリアルタイムに処理し,高速かつ高精度で行動分類を実現することは可能か」を追求する.

研究実績の概要

本研究は,カメラ等から取得した動画データに映る人や動物などの行動分類をリアルタイムに行うための手法として,多くの教師データを必要としない半教師あり学習にもとづく手法の開発を目的とする.具体的には,動物園の動物を対象とした実証実験をとおして,ホッキョクグマの常同行動の分析と行動分類,また,アジアゾウの採餌行動の分類などを行うシステムを開発する.さらに,動物の群れ行動の解析と動物とリアルタイムにインタラクションするシステムについても開発を行う.

二年度目までに,ホッキョクグマ,アジアゾウについてのトラッキング精度の向上,およびホッキョクグマの常同行動検出と行動分類手法の開発,アジアゾウの採餌行動の検出を主に行った.その結果,ホッキョクグマの常同行動については,約91%程度,行動分類については約89%の精度で実現できることを示した.

また,半教師あり学習については,単一のネットワークで I-frame, motion vector, residual を同時に処理する multi-stream single network (MussNet) を提案した. Early fusion は単一のネットワークですべての入力を処理するため, Late fusion よりも効率的な圧縮動画分類を実現できる一方, 学習後の分類精度が低くなってしまうという欠点がある. そこで, MussNet は単一ネットワークに対して, 内部でLate fusion がおこなわれるような学習をおこなう. 結果として, MussNet は Early fusion のような単一ネットワークによる効率性を維持しつつ, Late fusion と同等の精度を達成できることを示した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

半教師あり学習において, I-frame, motion vector, residual それぞれに対応するディープネットワークの予測をアンサンブルすることでより信頼のおける擬似ラベルを生成する Compressed Video Ensemble based Pseudo Labeling (CoVEnPL) を提案したことに加え,単一のネットワークで I-frame, motion vector, residual を同時に処理する multi-stream single network (MussNet) を提案したことで,効率よく学習する手法を開発したことが主な理由である.

また,実際に動物園の動物に対して,ホッキョクグマの行動分類,特に常同行動の検出の精度向上,また,アジアゾウの個体識別を伴うトラッキングと採餌行動の検出を行う手法を開発し,それぞれ十分な精度を示したことによる.

今後の研究の推進方策

今後は,まずこれまでの成果を受けて,動物の検出(Detection),個体識別(Identification)を伴うトラッキング(Tracking),および,行動分類(Action Classification)を精度良く実現するための手法のまとめを行う.特に,飼育環境や天候の違いによるカメラの映像の不安定さがある状況で,精度良く実現するための手法を開発する.

また,圧縮動画を用いた半教師あり学習の精度向上を実現した成果を使って,ラベル付けされていないデータも学習に使用して分類精度の向上を試みる.さらに,動物の行動分析や情報管理システムの開発なども行い,動物園での実証実験に繋げていく予定である.

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (16件)

すべて 2024 2023 2022

すべて 雑誌論文 (9件) (うち査読あり 8件、 オープンアクセス 6件) 学会発表 (7件) (うち招待講演 2件)

  • [雑誌論文] Multi-Stream Single Network: Efficient Compressed Video Action Recognition With a Single Multi-Input Multi-Output Network2024

    • 著者名/発表者名
      Terao Hayato、Noguchi Wataru、Iizuka Hiroyuki、Yamamoto Masahito
    • 雑誌名

      IEEE Access

      巻: 12 ページ: 20983-20997

    • DOI

      10.1109/access.2024.3363022

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 動物園のゾウを対象にした単一監視カメラ映像によるトラッキング手法の検討と実践2024

    • 著者名/発表者名
      西岡 拳, 野口 渉, 飯塚 博幸, 山本 雅人
    • 雑誌名

      情報処理学会デジタルプラクティス

      巻: 採録決定

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Robust Animal Tracking and Stereotypical Behavior Detection Under Real Environment Using Temporal Averaging Background Subtraction2024

    • 著者名/発表者名
      Wang Ruqin、Noguchi Wataru、Zhang Enzhi、Osada Koki、Yamamoto Masahito
    • 雑誌名

      IntelliSys, Lecture Notes in Networks and Systems

      巻: 823 ページ: 857-875

    • DOI

      10.1007/978-3-031-47724-9_57

    • ISBN
      9783031477232, 9783031477249
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] 4 動物園におけるAI による動物の行動検出技術の開発と実装2024

    • 著者名/発表者名
      山本雅人
    • 巻
      4月号
    • ページ
      944
    • DOI

      10.18958/7431-00002-0001391-00

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Deep-learning-based Multi-behavior Classification of Animals for Efficient Health and Welfare Monitoring2023

    • 著者名/発表者名
      Wang Ruqin、Noguchi Wataru、Osada Koki、Yamamoto Masahito
    • 雑誌名

      Sensors and Materials

      巻: 35 号: 11 ページ: 3947

    • DOI

      10.18494/SAM4521

    • ISSN
      0914-4935, 2435-0869
    • 年月日
      2023-11-30
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Detecting Eating Behavior of Elephants in a Zoo Using Temporal Action Localization2023

    • 著者名/発表者名
      Nishioka Ken、Noguchi Wataru、Izuka Hiroyuki、Yamamoto Masahito
    • 雑誌名

      Sensors and Materials

      巻: 35 号: 11 ページ: 3927

    • DOI

      10.18494/SAM4501

    • ISSN
      0914-4935, 2435-0869
    • 年月日
      2023-11-30
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Compressed video ensemble based pseudo-labeling for semi-supervised action recognition2022

    • 著者名/発表者名
      Terao Hayato、Noguchi Wataru、Iizuka Hiroyuki、Yamamoto Masahito
    • 雑誌名

      Machine Learning with Applications

      巻: 9 ページ: 100336-100336

    • DOI

      10.1016/j.mlwa.2022.100336

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Superposition mechanism as a neural basis for understanding others2022

    • 著者名/発表者名
      Noguchi Wataru、Iizuka Hiroyuki、Yamamoto Masahito、Taguchi Shigeru
    • 雑誌名

      Scientific Reports

      巻: 12 号: 1

    • DOI

      10.1038/s41598-022-06717-3

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Learning shared embedding representation of motion and text using contrastive learning2022

    • 著者名/発表者名
      Horie Junpei、Noguchi Wataru、Iizuka Hiroyuki、Yamamoto Masahito
    • 雑誌名

      Artificial Life and Robotics

      巻: 28 号: 1 ページ: 148-157

    • DOI

      10.1007/s10015-022-00840-0

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] 機械学習を利用した実験動物の行動解析2024

    • 著者名/発表者名
      小林幸司、坂本直観、宮崎優介、原口大雅、山本雅人、村田幸久
    • 学会等名
      第6回日本獣医薬理毒性学会 春季研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 行動分類モデルに基づく動物園内デジタル飼育管理システムの開発2024

    • 著者名/発表者名
      菊地真優,野口渉,田村康将,山本雅人
    • 学会等名
      第23回複雑系マイクロシンポジウム
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 人工知能を用いたマウスの痛み表情の評価2023

    • 著者名/発表者名
      小林幸司, 山本雅人, 村田幸久
    • 学会等名
      第70回実験動物学会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] マウスのひっかき行動を長時間解析できる機械学習法の確立2023

    • 著者名/発表者名
      小林幸司、宮崎優介、坂本直観、山本雅人、村田幸久
    • 学会等名
      第72回日本アレルギー学会学術大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Crossover using Backpropagation for Evolutionary Artificial Neural Networks2022

    • 著者名/発表者名
      Yasumasa Tamura
    • 学会等名
      Robomec 2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Path planning in multi-robot systems2022

    • 著者名/発表者名
      Yasumasa Tamura
    • 学会等名
      やわらか3D共創コンソーシアム 第4回 ソフトマシン部会
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] 人工知能技術による社会応用と技能伝承2022

    • 著者名/発表者名
      山本雅人
    • 学会等名
      Conference on 4D and Functional Fabrication 2022
    • 関連する報告書
      2022 実績報告書
    • 招待講演

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi