Development of Semi-Supervised Learning Method using Compressed Video for Real-Time Animal Behavior Analysis
Project/Area Number |
22H03637
|
Research Category |
Grant-in-Aid for Scientific Research (B)
|
Allocation Type | Single-year Grants |
Section | 一般 |
Review Section |
Basic Section 61030:Intelligent informatics-related
|
Research Institution | Hokkaido University |
Principal Investigator |
山本 雅人 北海道大学, 情報科学研究院, 教授 (40292057)
|
Co-Investigator(Kenkyū-buntansha) |
飯塚 博幸 北海道大学, 人間知・脳・AI研究教育センター, 特任准教授 (30396832)
田村 康将 東京工業大学, 情報理工学院, 助教 (50773701)
野口 渉 北海道大学, 情報科学研究院, 博士研究員 (60868082)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2023)
|
Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2023: ¥7,800,000 (Direct Cost: ¥6,000,000、Indirect Cost: ¥1,800,000)
Fiscal Year 2022: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
|
Keywords | 深層学習 / 半教師あり学習 / 行動分類 / 群行動解析 / 行動認識 / 圧縮動画 / インタラクション / 群れ行動 |
Outline of Research at the Start |
本研究は,カメラから取得した動画データに映る人や動物などの行動分類をリアルタイムに行うための手法として,多くの教師データを必要としない半教師あり学習にもとづく手法の開発を目的とする.教師データとなる膨大な数の動画に対して,正解となる行動ラベルを付与することは時間と費用の面で多大なコストを要し,カメラの変更や他の施設への適用の際には新たな行動ラベル付けが必要となるなど現実的でない.そこで,少数の動画データに対してのみ行動ラベルを付与する半教師あり学習によって高精度の行動分類を実現する手法を開発しこの問題への解決を図る.特に,圧縮動画の特徴を利用した学習モデルの構築とデータ拡張の手法を開発する.
|
Outline of Annual Research Achievements |
本研究は,カメラから取得した動画データに映る人や動物などの行動分類をリアルタイムに行うための手法として,多くの教師データを必要としない半教師あり学習にもとづく手法の開発を目的とする.さらに,動物園の動物を対象とした実証実験をとおして,動物の群れ行動の解析と動物とリアルタイムにインタラクションするシステムの開発を行うものである.
初年度では,動画データから動物(ホッキョクグマとアジアゾウ)の検出とトラッキングを行う技術開発を行い,対象とする動物をクロッピングする精度向上を行った.特にホッキョクグマでは98%以上の精度での検出,アジアゾウでは2頭が飼育されているため,検出と個体識別,さらにトラッキングを同時に行う手法を提案し,総合的評価であるHOTAという尺度で,0.75程度の性能を示すことが可能であることを確認した.
一方,動物を適切クロッピングできたと過程した場合の半教師あり学習については,動画データを,空間情報が含まれる I-frameと動きの情報を捉えたMotion Vector,さらに,I-frameとの差分情報をもつResidualに分けてそれぞれが学習を行う手法を提案した.UCF-101,HMDB-51,Kinetics-100などのデータセットに対して,ラベル付けされたデータの割合毎の正解率が既存手法より多くの場合で上回ることを示した.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和4年度は研究計画にもとづき研究を進めた.特に,ホッキョクグマを対象として検出とトラッキングの精度を高める手法について開発し,これまで検出が困難であった水中で泳いでいるときなどの検出精度を高めることができた.またアジアゾウについては,検出・個体識別・トラッキングを同時に行うことでそれぞれを補完する手法を提案し,精度向上を行うことができた.さらに,半教師あり学習においても,圧縮動画を利用し,空間情報,動きを捉える情報,空間情報との差分情報,という3種の情報を用いた学習手法を提案し,従来手法を上回る精度を得ることができた.これらの理由による.
|
Strategy for Future Research Activity |
令和5年度以降については,ホッキョクグマに関しては,現在,検出精度が若干良くない動きの少ない状況における検出精度を向上するための手法の改良を行う.また,検出した位置情報などの軌跡を利用し,行動分類をリアルタイムで行う手法の開発を行う.アジアゾウにおいても検出・個体識別・トラッキングの精度はある程度確保できたので,行動分類,特に,食事をしている行動を検出する手法の開発に取りかかる.半教師あり学習においては,圧縮動画から,特徴の異なる3種類の情報をどのタイミングで融合するのが良いかという点について検討を行うことで,分類精度の向上を目指す.さらに,これらの手法のリアルタイム性を考慮した実装について検討を行う.
|
Report
(1 results)
Research Products
(6 results)