2023 Fiscal Year Annual Research Report
Development of Semi-Supervised Learning Method using Compressed Video for Real-Time Animal Behavior Analysis
| Project/Area Number |
22H03637
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
山本 雅人 北海道大学, 情報科学研究院, 教授 (40292057)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯塚 博幸 北海道大学, 人間知・脳・AI研究教育センター, 特任准教授 (30396832)
田村 康将 東京工業大学, 情報理工学院, 助教 (50773701)
野口 渉 北海道大学, 情報科学研究院, 博士研究員 (60868082)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 行動認識 / 半教師あり学習 / 圧縮動画 / インタラクション / 群れ行動 |
|---|
| Outline of Annual Research Achievements |
本研究は，カメラ等から取得した動画データに映る人や動物などの行動分類をリアルタイムに行うための手法として，多くの教師データを必要としない半教師あり学習にもとづく手法の開発を目的とする．具体的には，動物園の動物を対象とした実証実験をとおして，ホッキョクグマの常同行動の分析と行動分類，また，アジアゾウの採餌行動の分類などを行うシステムを開発する．さらに，動物の群れ行動の解析と動物とリアルタイムにインタラクションするシステムについても開発を行う．
二年度目までに，ホッキョクグマ，アジアゾウについてのトラッキング精度の向上，およびホッキョクグマの常同行動検出と行動分類手法の開発，アジアゾウの採餌行動の検出を主に行った．その結果，ホッキョクグマの常同行動については，約91％程度，行動分類については約89％の精度で実現できることを示した．
また，半教師あり学習については，単一のネットワークで I-frame, motion vector, residual を同時に処理する multi-stream single network (MussNet) を提案した． Early fusion は単一のネットワークですべての入力を処理するため, Late fusion よりも効率的な圧縮動画分類を実現できる一方, 学習後の分類精度が低くなってしまうという欠点がある. そこで, MussNet は単一ネットワークに対して, 内部でLate fusion がおこなわれるような学習をおこなう. 結果として, MussNet は Early fusion のような単一ネットワークによる効率性を維持しつつ, Late fusion と同等の精度を達成できることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
半教師あり学習において， I-frame, motion vector, residual それぞれに対応するディープネットワークの予測をアンサンブルすることでより信頼のおける擬似ラベルを生成する Compressed Video Ensemble based Pseudo Labeling (CoVEnPL) を提案したことに加え，単一のネットワークで I-frame, motion vector, residual を同時に処理する multi-stream single network (MussNet) を提案したことで，効率よく学習する手法を開発したことが主な理由である．
また，実際に動物園の動物に対して，ホッキョクグマの行動分類，特に常同行動の検出の精度向上，また，アジアゾウの個体識別を伴うトラッキングと採餌行動の検出を行う手法を開発し，それぞれ十分な精度を示したことによる．
|
| Strategy for Future Research Activity |
今後は，まずこれまでの成果を受けて，動物の検出(Detection)，個体識別(Identification)を伴うトラッキング(Tracking)，および，行動分類(Action Classification)を精度良く実現するための手法のまとめを行う．特に，飼育環境や天候の違いによるカメラの映像の不安定さがある状況で，精度良く実現するための手法を開発する．
また，圧縮動画を用いた半教師あり学習の精度向上を実現した成果を使って，ラベル付けされていないデータも学習に使用して分類精度の向上を試みる．さらに，動物の行動分析や情報管理システムの開発なども行い，動物園での実証実験に繋げていく予定である．
|
