2022 Fiscal Year Annual Research Report
Development of Semi-Supervised Learning Method using Compressed Video for Real-Time Animal Behavior Analysis
| Project/Area Number |
22H03637
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
山本 雅人 北海道大学, 情報科学研究院, 教授 (40292057)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯塚 博幸 北海道大学, 情報科学研究院, 准教授 (30396832)
田村 康将 東京工業大学, 情報理工学院, 助教 (50773701)
野口 渉 北海道大学, 情報科学研究院, 博士研究員 (60868082)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 行動認識 / 半教師あり学習 / 圧縮動画 / インタラクション / 群れ行動 |
|---|
| Outline of Annual Research Achievements |
本研究は，カメラから取得した動画データに映る人や動物などの行動分類をリアルタイムに行うための手法として，多くの教師データを必要としない半教師あり学習にもとづく手法の開発を目的とする．さらに，動物園の動物を対象とした実証実験をとおして，動物の群れ行動の解析と動物とリアルタイムにインタラクションするシステムの開発を行うものである．
初年度では，動画データから動物(ホッキョクグマとアジアゾウ)の検出とトラッキングを行う技術開発を行い，対象とする動物をクロッピングする精度向上を行った．特にホッキョクグマでは98％以上の精度での検出，アジアゾウでは2頭が飼育されているため，検出と個体識別，さらにトラッキングを同時に行う手法を提案し，総合的評価であるHOTAという尺度で，0.75程度の性能を示すことが可能であることを確認した．
一方，動物を適切クロッピングできたと過程した場合の半教師あり学習については，動画データを，空間情報が含まれる I-frameと動きの情報を捉えたMotion Vector，さらに，I-frameとの差分情報をもつResidualに分けてそれぞれが学習を行う手法を提案した．UCF－101，HMDB-51，Kinetics-100などのデータセットに対して，ラベル付けされたデータの割合毎の正解率が既存手法より多くの場合で上回ることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和4年度は研究計画にもとづき研究を進めた．特に，ホッキョクグマを対象として検出とトラッキングの精度を高める手法について開発し，これまで検出が困難であった水中で泳いでいるときなどの検出精度を高めることができた．またアジアゾウについては，検出・個体識別・トラッキングを同時に行うことでそれぞれを補完する手法を提案し，精度向上を行うことができた．さらに，半教師あり学習においても，圧縮動画を利用し，空間情報，動きを捉える情報，空間情報との差分情報，という3種の情報を用いた学習手法を提案し，従来手法を上回る精度を得ることができた．これらの理由による．
|
| Strategy for Future Research Activity |
令和5年度以降については，ホッキョクグマに関しては，現在，検出精度が若干良くない動きの少ない状況における検出精度を向上するための手法の改良を行う．また，検出した位置情報などの軌跡を利用し，行動分類をリアルタイムで行う手法の開発を行う．アジアゾウにおいても検出・個体識別・トラッキングの精度はある程度確保できたので，行動分類，特に，食事をしている行動を検出する手法の開発に取りかかる．半教師あり学習においては，圧縮動画から，特徴の異なる3種類の情報をどのタイミングで融合するのが良いかという点について検討を行うことで，分類精度の向上を目指す．さらに，これらの手法のリアルタイム性を考慮した実装について検討を行う．
|
