深層学習を用いた生物行動の認識と計量

• 研究課題/領域番号: 18K11525
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分62010:生命、健康および医療情報学関連
• 研究機関: 金沢大学
• 研究代表者: 佐藤 賢二 金沢大学, 融合科学系, 教授 (10215783)
• 研究期間 (年度): 2018-04-01 – 2023-03-31
• 研究課題ステータス: 完了 (2022年度)
• 配分額: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円); 2020年度: 390千円 (直接経費: 300千円、間接経費: 90千円); 2019年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2018年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
• キーワード: 生物行動 / 深層学習 / 位置推定 / 姿勢推定 / 動作認識

研究成果の概要

深層学習の急速な発展により、画像中の人物や物体を高精度に認識する研究は長足の進歩を遂げつつある。その一方で、人間以外の生物を対象とした姿勢や動作の認識は、高い需要があるにも関わらず研究例が少なく、大部分が動物にマーカを装着したモーションキャプチャに基づいていた。本研究では動物を撮影した動画像に対して深層学習を含む各種の機械学習手法を用いることにより、時間と共に変化する動物の位置や姿勢を計測し、更にその結果を解析することで特定の行動を高精度に認識したり、動物個体に特有の行動を抽出したり、特に指定しなくても動物や人間の繰り返し行動や特徴的行動を抽出できることを明らかにした。

研究成果の学術的意義や社会的意義

人間の動画像を対象とした各種の認識技術や計測技術は近年急速に発展したが、動物の行動を自動的に認識し計量する研究は比較的少数に留まっていた。本研究により開発された各種の手法は、主に医学や薬学の分野で動物を用いて行われる行動観察実験の精度を高めるのに貢献するだけでなく、近年需要が高まりつつあるペット産業分野や畜産業および水産養殖業で、動画像を用いて動物の行動を計量し異常検出を行うなど、様々な応用が期待される点で社会的意義がある。また、繰り返し行動および特徴的行動の自動検出や、単色生物の動き検出の高精度化など、従来殆ど研究されていなかった分野で成果があったことに学術的意義がある。

研究成果

• [雑誌論文] The Enrichment of Texture Information to Improve Optical Flow for Silhouette Image (2021)
  • 著者名/発表者名: Bedy Purnama, Mera Kartika Delimayanti, Kunti Robiatul Mahmudah, Fatma Indriani, Mamoru Kubo, Kenji Satou
  • 雑誌名: International Journal of Advanced Computer Science and Applications 巻: 12 号: 2 ページ: 423-428
  • DOI: 10.14569/ijacsa.2021.0120253
  • 査読あり / オープンアクセス
• [雑誌論文] Applying Deep Learning Models to Mouse Behavior Recognition (2019)
  • 著者名/発表者名: Nguyen,N.G., Phan,D., Lumbanraja,F.R., Faisal,M.R., Abapihi,B., Purnama,B., Delimayanti,M.K., Mahmudah,K.R., Kubo,M., Satou,K.
  • 雑誌名: Journal of Biomedical Science and Engineering 巻: 12 号: 02 ページ: 183-196
  • DOI: 10.4236/jbise.2019.122012
  • 査読あり / オープンアクセス
• [学会発表] On the Effect of Feature Extraction: Practical Cases for Improving Classification (2021)
  • 著者名/発表者名: Kenji Satou
  • 学会等名: 4th International Conference of Computer and Informatics Engineering
  • 国際学会 / 招待講演
• [学会発表] Problems and Approaches in Animal Behavior Analysis, (2020)
  • 著者名/発表者名: Kenji Satou
  • 学会等名: The 3rd International Conference on Applied Science Mathematics and Informatics
  • 国際学会 / 招待講演
• [学会発表] 動物の姿勢認識結果を用いた行動認識 (2019)
  • 著者名/発表者名: 辰巳祐大, 久保守, 佐藤賢二
  • 学会等名: 2019 年度電気 ・情報 関係学会北陸支部連合大会
• [学会発表] 動物の歩行に基づく類似行動の分析 (2019)
  • 著者名/発表者名: 上田貴哉, 久保守, 新明洋平, 河﨑洋志, 佐藤賢二
  • 学会等名: 2019 年度電気 ・情報 関係学会北陸支部連合大会
• [学会発表] Applying Deep Learning Models to Action Recognition of Swimming Mice with the Scarcity of Training Data (2019)
  • 著者名/発表者名: Nguyen,N.G., Delimayanti,M.K., Purnama,B., Mahmudah,K.R., Kubo,M., Kakikawa,M., Yamada,Y., Satou,K.
  • 学会等名: BIOINFORMATICS 2019: 10th International Conference on Bioinformatics Models, Methods and Algorithms
  • 国際学会
• [学会発表] On The Problem About Optical Flow Prediction for Silhouette Image (2019)
  • 著者名/発表者名: Purnama,B., Delimayanti,M.K., Nguyen,N.G., Mahmudah,K.R., Kubo,M., Kakikawa,M., Yamada,Y., Satou,K.
  • 学会等名: BIOINFORMATICS 2019: 10th International Conference on Bioinformatics Models, Methods and Algorithms
  • 国際学会
• [学会発表] Clustering and Classification of Breathing Activities by Depth Image from Kinect (2019)
  • 著者名/発表者名: Delimayanti,M.K., Purnama,B., Nguyen,N.G., Mahmudah,K.R., Kubo,M., Kakikawa,M., Yamada,Y., Satou,K.
  • 学会等名: BIOINFORMATICS 2019: 10th International Conference on Bioinformatics Models, Methods and Algorithms
  • 国際学会