| Project/Area Number |
23K24893
|
|---|
| Project/Area Number (Other) |
22H03637 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
山本 雅人 北海道大学, 情報科学研究院, 教授 (40292057)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯塚 博幸 北海道大学, 人間知・脳・AI研究教育センター, 特任准教授 (30396832)
田村 康将 北海道大学, 情報科学研究院, 助教 (50773701)
野口 渉 北海道大学, 数理・データサイエンス教育研究センター, 特任助教 (60868082)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥7,800,000 (Direct Cost: ¥6,000,000、Indirect Cost: ¥1,800,000)
Fiscal Year 2022: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
|
|---|
| Keywords | 深層学習 / 半教師あり学習 / 行動分類 / 群行動解析 / 行動認識 / 圧縮動画 / インタラクション / 群れ行動 |
|---|
| Outline of Research at the Start |
一般に，学習するデータに行動ラベルを付与しない教師なし学習では，収集されたデータをクラスタリングするなどして同様の性質をもつデータ群に分けることによって行う．しかし，動画の行動分類へ適用するためには，クラスタリングされたデータ群が分類したい行動と対応しているかの保証がないため望ましい分類にはならない．本研究では，この問題を解決するため，一連の動画データに対して，教師あり学習と教師なし学習の利点をうまく融合した半教師あり学習の開発を目指す．すなわち，「恒常的に撮影され，かつ，行動の区切りなどが明確でない動画データをリアルタイムに処理し，高速かつ高精度で行動分類を実現することは可能か」を追求する．
|
| Outline of Annual Research Achievements |
本研究は，カメラ等から取得した動画データに映る人や動物などの行動分類をリアルタイムに行うための手法として，多くの教師データを必要としない半教師あり学習にもとづく手法の開発を目的とする．具体的には，動物園の動物を対象とした実証実験をとおして，ホッキョクグマの常同行動の分析と行動分類，また，アジアゾウの採餌行動の分類などを行うシステムを開発する．さらに，動物の群れ行動の解析と動物とリアルタイムにインタラクションするシステムについても開発を行う．
二年度目までに，ホッキョクグマ，アジアゾウについてのトラッキング精度の向上，およびホッキョクグマの常同行動検出と行動分類手法の開発，アジアゾウの採餌行動の検出を主に行った．その結果，ホッキョクグマの常同行動については，約91％程度，行動分類については約89％の精度で実現できることを示した．
また，半教師あり学習については，単一のネットワークで I-frame, motion vector, residual を同時に処理する multi-stream single network (MussNet) を提案した． Early fusion は単一のネットワークですべての入力を処理するため, Late fusion よりも効率的な圧縮動画分類を実現できる一方, 学習後の分類精度が低くなってしまうという欠点がある. そこで, MussNet は単一ネットワークに対して, 内部でLate fusion がおこなわれるような学習をおこなう. 結果として, MussNet は Early fusion のような単一ネットワークによる効率性を維持しつつ, Late fusion と同等の精度を達成できることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
半教師あり学習において， I-frame, motion vector, residual それぞれに対応するディープネットワークの予測をアンサンブルすることでより信頼のおける擬似ラベルを生成する Compressed Video Ensemble based Pseudo Labeling (CoVEnPL) を提案したことに加え，単一のネットワークで I-frame, motion vector, residual を同時に処理する multi-stream single network (MussNet) を提案したことで，効率よく学習する手法を開発したことが主な理由である．
また，実際に動物園の動物に対して，ホッキョクグマの行動分類，特に常同行動の検出の精度向上，また，アジアゾウの個体識別を伴うトラッキングと採餌行動の検出を行う手法を開発し，それぞれ十分な精度を示したことによる．
|
| Strategy for Future Research Activity |
今後は，まずこれまでの成果を受けて，動物の検出(Detection)，個体識別(Identification)を伴うトラッキング(Tracking)，および，行動分類(Action Classification)を精度良く実現するための手法のまとめを行う．特に，飼育環境や天候の違いによるカメラの映像の不安定さがある状況で，精度良く実現するための手法を開発する．
また，圧縮動画を用いた半教師あり学習の精度向上を実現した成果を使って，ラベル付けされていないデータも学習に使用して分類精度の向上を試みる．さらに，動物の行動分析や情報管理システムの開発なども行い，動物園での実証実験に繋げていく予定である．
|
