Health Monitoring of Grazing Cattle by Time Series Analysis of Interactions

• Project/Area Number: 21H04914
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 62:Applied informatics and related fields
• Research Institution: Kobe University
• Principal Investigator: 大川 剛直 神戸大学, システム情報学研究科, 教授 (30223738)
• Co-Investigator(Kenkyū-buntansha): 太田 能 神戸大学, システム情報学研究科, 教授 (10272254) ; 大山 憲二 神戸大学, 農学研究科, 教授 (70322203)
• Project Period (FY): 2021-04-05 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥41,860,000 (Direct Cost: ¥32,200,000、Indirect Cost: ¥9,660,000); Fiscal Year 2025: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000); Fiscal Year 2024: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000); Fiscal Year 2023: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2022: ¥13,390,000 (Direct Cost: ¥10,300,000、Indirect Cost: ¥3,090,000); Fiscal Year 2021: ¥12,480,000 (Direct Cost: ¥9,600,000、Indirect Cost: ¥2,880,000)
• Keywords: 時系列ネットワーク解析 / スマート農業 / 位置推定 / 無線センサタグ / ヘルスモニタリング / 疎構造学習 / 歩容認証 / 個体識別 / 無線センサノード / 俯瞰画像データ / インタラクション検出 / 省電力無線デバイス

Outline of Research at the Start

本研究では、放牧牛に装着した無線センサタグをもとに得られる様々な牛間インタラクションの時系列変化を精緻に分析することで、個別の牛から計測される運動情報や生体情報だけでは実現が困難であった高感度なヘルスモニタリング（ストレス検知、発情検知、健康状態把握、疾病・負傷発見）手法を創出する。牛の状態把握のために、各個体の観測に重点を置く従来の考え方ではなく、ストレスや体調不良などが牛間インタラクションにどのような変化を引き起こすかという動物行動学的な観点からアプローチする。その実現のため、時間解像度の最適化を考慮した時系列グラフ解析により、多面的にインタラクションの変化を捉える新しい手法を開発する。

Outline of Annual Research Achievements

本研究では、放牧牛に装着した無線センサタグを利用して得られる牛間インタラクションの時系列変化を分析することにより、個別の牛から得られる情報だけでは実現困難であった高感度なヘルスモニタリング（ストレス検知、発情検知、健康状態把握、疾病・負傷発見）手法の開発を目的としている。令和5年度の主要な研究実績は以下の通りである。
まず、Dead Reckoningと電波強度に基づく放牧牛の位置推定手法の開発に取り組んだ。本手法では、牛間通信における電波強度を活用した協調的な位置推定により、より高い推定精度を達成した。また、地面における反射を考慮した電波伝播モデルを用い、最適化問題として位置推定を実現する手法を提案し、シミュレーションデータを用いて、その有効性を確認した。
次に、放牧牛の位置情報に基づく疎構造学習による相互作用ネットワーク推定手法について検討した。疎なネットワーク構築を可能とする学習手法であるGraphical Lassoを利用し、放牧牛の時系列位置データから個体同士の位置の相関を表すネットワークの推定を試みるとともに、その時間変化を牛の観察記録と照合することで、ネットワーク分析の有効性を検証した。
本研究では、無線センサタグに加えて、放牧場を俯瞰するカメラ画像を利用したインタラクション情報の取得を想定し、動画像からのインタラクション抽出手法について検討している。本年度は、得られるインタラクション情報がどの牛によるものであるかを特定するため、動画像データに基づく放牧牛の個体識別手法の開発に取り組んだ。基盤モデルを利用したセグメンテーションによるシルエット抽出と深層学習に基づく歩容認証手法を組み合わせた個体識別の枠組みを提案した。
また、昨年度までと同様に、実際の牛の健康状態把握を目的として、定期的な血液検査を実施し、データ蓄積を行なった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

令和5年度の交付申請書に記載している電波強度に基づく位置推定手法の開発と精度向上、ならびに牛間インタラクション情報の抽出手法の開発のうち、前者に関しては牛間の双方向通信における受信電波強度を活用した新たな手法を提案し、これにより、位置推定精度の向上が図られている。さらに、地面における反射を考慮した電波伝播モデルを利用した位置推定手法についても、別途、開発を進めており、シミュレーションデータにより、有効性を確認している。後者において、無線センサタグから得られる時系列データに基づいたインタラクション情報の抽出に関しては、現時点では十分な情報が得られておらず、プリミティブな情報取得に留まっているが、それに続くプロセスであるインタラクションネットワークの分析手法について先行して開発を進めている。また、研究の進捗に応じて必要となった俯瞰画像における牛の個体識別についても新たな手法の開発に取り組んでおり、総合的には、概ね順調に進捗していると判断される。

Strategy for Future Research Activity

今後の研究方策としては、放牧牛の位置推定精度をさらに向上させるとともに、本年度に開発した俯瞰動画像からの個体識別に関して、より遠景に位置する牛の識別が可能なように手法の拡張を行う予定である。また、無線センサタグデータ、ならびに俯瞰画像データから抽出可能なインタラクションの種類を拡大し、これら多様なインタラクション情報に基づくネットワーク分析により、群れや個体の異常の検知を試みる。なお、ヘルスモニタリングにおいては、長期的な観察が必要であることから、これまでと同様に継続的な血液検査等を実施し、実データの蓄積に努める。

Research Products

• [Journal Article] BLE-Based Outdoor Localization With Two-Ray Ground-Reflection Model Using Optimization Algorithms (2024)
  • Author(s): Yu Sun, Patrick Finnerty, Chikara Ohta
  • Journal Title: IEEE Access Volume: 12 Pages: 45164-45175
  • DOI: 10.1109/access.2024.3380897
  • Peer Reviewed / Open Access
• [Journal Article] SCIRNet: Skeleton-based cattle interaction recognition network with inter-body graph and semantic priority (2023)
  • Author(s): Yang Yang, Komatsu Mizuka, Oyama Kenji, Ohkawa Takenao
  • Journal Title: Proceedings of the 2023 International Joint Conference on Neural Networks Volume: - Pages: 1-8
  • DOI: 10.1109/ijcnn54540.2023.10191592
  • Peer Reviewed
• [Journal Article] Real-Time Cattle Interaction Recognition via Triple-stream Network (2022)
  • Author(s): Yang Yang, Komatsu Mizuka, Ohkawa Takenao, Oyama Kenji
  • Journal Title: Proceedings of the 21st IEEE International Conference on Machine Learning and Applications Volume: 21 Pages: 61-68
  • DOI: 10.1109/icmla55696.2022.00016
  • Peer Reviewed
• [Journal Article] Depth Image Selection Based on Posture for Calf Body Weight Estimation (2021)
  • Author(s): Yamamoto Yuki、Ohkawa Takenao、Ohta Chikara、Oyama Kenji、Nishide Ryo
  • Journal Title: Engineering Proceedings Volume: 9 Pages: 20-20
  • DOI: 10.3390/engproc2021009020
  • Peer Reviewed / Open Access
• [Presentation] パーティクルフィルタを用いたDead Reckoningと電波強度に基づく放牧牛の協調位置推定 (2024)
  • Author(s): 玉崎 伶河, 大川 剛直, 大山 憲二, 小松 瑞果
  • Organizer: 情報処理学会第86回全国大会
• [Presentation] 動画像データに基づく放牧牛の個体識別における歩容認証の適用 (2024)
  • Author(s): 坂本 直暉, 大川 剛直, 小松 瑞果, 大山 憲二
  • Organizer: 情報処理学会第86回全国大会
• [Presentation] 疎構造学習による放牧牛の社会性ネットワークの推定 (2024)
  • Author(s): 永岡 優, 小松 瑞果, 大川 剛直, 大山 憲二
  • Organizer: 情報処理学会第86回全国大会
• [Presentation] 放牧牛のネットワーク分析における疎構造学習の適用 (2023)
  • Author(s): 永岡 優, 小松 瑞果, 大川 剛直, 大山 憲二
  • Organizer: 第22回情報科学技術フォーラム
• [Presentation] カルマンフィルタとRauch-Tung-Striebel Smootherを用いたdead reckoningによる放牧牛の位置推定 (2023)
  • Author(s): 若菜理志，大川剛直，小松瑞果，太田 能，大山憲二
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] ノード間の接続性を考慮した電波強度に基づく放牧牛の位置推定 (2021)
  • Author(s): 若菜理志，大川剛直，大山憲二，太田 能
  • Organizer: 第20回情報科学技術フォーラム
• [Presentation] 首輪型デバイスによる計測データを用いたRNNに基づく牛の行動分類 (2021)
  • Author(s): 植田晋之介，大川剛直，大山憲二，太田 能
  • Organizer: 第20回情報科学技術フォーラム