• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Research-status Report

Development of estrus detection and calving monitoring system for cattle using image processing technology and noncontact sensor

Research Project

Project/Area Number 17K08066
Research InstitutionUniversity of Miyazaki

Principal Investigator

ThiThi Zin  宮崎大学, 工学部, 教授 (30536959)

Co-Investigator(Kenkyū-buntansha) 小林 郁雄  宮崎大学, 農学部, 准教授 (20576293)
椎屋 和久  宮崎大学, 工学部, 助教 (00347048)
Pyke Tin  宮崎大学, 国際連携センター, 客員教授 (70536961)
濱 裕光  大阪市立大学, 大学院工学研究科, 名誉教授 (20047377)
Project Period (FY) 2017-04-01 – 2021-03-31
Keywords農学 / 動物生産科学 / 情報通信技術 / 画像処理 / 発情検知 / 分娩監視 / 繁殖
Outline of Annual Research Achievements

分娩監視に関しては、「尻尾が上がっているかどうか」、「落ち着きがなくなり移動量が増加するかどうか」、「起居」、などの分娩前の行動に焦点を当て、特徴抽出を行った。また、分娩開始時間の予測について、確率モデルを提案し、分娩時刻の事前予測を可能とした。移動量には、身体の震えなど、落ち着きがなくなったときの様子が反映される。分娩開始の2~5時間前に移動距離が突発的に増加し、その後、減少する傾向が見られた。これは、陣痛等での痛みにより移動量が増加し、その後、お産するために横たわるので移動量が減少したと考えられる。このことから、移動距離が一定の値を超えた場合、間もなく分娩が始まると予測できる。また、分娩開始時刻の予測について確率モデルを提案し、99%以上の確率で「分娩開始前6時間以内」の予測を可能とした。以上のような予測モデルの構築を成功させたことは、分娩時の重大事故の未然防止や軽減などに繋がるものである。
発情検知に関しては、従来は乗駕行動に注目したものが多かったが、ここでは複数の発情前兆行動を検知し、総合的・相補的に利用することで精度及び信頼性を高める。特に重要なポイントとなったのは、牛の位置を定義する仮想接地点の導入と2次元画像上の座標から牧場の地面を想定した3次元平面への変換であった。このことで問題が単純化され、多くの情報を読み取れることが判明した。測域センサを用いてマウンティングとスタンディングを、それぞれ高精度で検知・識別できた。また、乗駕行動を含まないシーンからの発情検知を可能とした。特に、2頭の牛がある一定時間、一定距離内に居ることは、ほとんどの前兆行動に当てはまることが判明した。前兆行動を個別に認識するためには、加えてそれぞれに対応するパラメータと閾値の設定が必要となるが、そのために3次元平面上での位置関係(相対距離と相対角度)と経時変化は有用であった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

分娩監視と発情検知に関する提案手法は、宮崎大学農学部付属住吉牧場と大規模A牧場における実証実験によりその有効性が確認されている。さらに、「発情行動、分娩行動、摂食行動、BCS測定、個体識別」等の場面を想定して2年以上に亘って、「ビデオ映像、3次元距離画像、4Kカメラ」を用いてデータ取得を終えており、新しいステップに備えている。

Strategy for Future Research Activity

分娩監視に関しては、特徴行動は分娩のフェーズごとに変化する。例えば、「牛が神経質に動き回っているか、尻尾が上がっているか、牛が立っているか、座っているか、子牛を出産したか、親牛が子牛を舐めているか」等の特徴行動を、時間的な変化と共に追跡しながら、自動的に異常を見つけ、通報を行うアルゴリズムの開発を目指していきたい。最終的には、実用化に向けて、具体的事例を蓄積しながら知識ベースを充実させ、分娩の各段階の監視と共に介助が必要な事態になれば、異常事態を検知ならびに通報が可能な技術を開発し、各年度で得られた要素技術を統合して、実用的なモニタリングシステムの構築が最終目標である。
乗駕行動の検知ミスの原因については、ビデオカメラや測域センサ(今後、センサ)が傾いていることが原因で、これはセンサを水平に設置することで誤検知は防げるようになった。一般に牧場の地面はフラットでなく凹凸があり、検知ミスの原因となるが、学習により地面の凹凸の推定が可能になれば、さらに精度を上げられると思われる。その他には、木の葉が強風によってあおられ、センサ面に何回も触れることで発生したと考えられるミスもあった。これは、木の枝を切ることで解決したが、実用化の際には予想しない状況に遭遇することも多々あり、いかなる状況にも対応できるシステムの構築は、今後の課題として挙げられる。また、複数の発情徴候に着目し、予兆を発見できれば、早目に準備することが可能になる。今後は、乗駕行動以外の発情前兆行動をより積極的に捉えて、乗駕行動と相補的に利用し、より頑健で精度の高い発情検知システムを目指していきたい。

Causes of Carryover

新型コロナウイルス流行に伴い2月に予定していた国際会議(ICICA2020:Brisbane, Australia)の開催日が延期となったが、新型コロナウイルスが少し収まったので6月に開催されることとなった。そのため時期は遅れたが、発表は当初のスケジュールに沿って行われた。
研究費の使用計画としては、新年度もさらなる成果を挙げ、国際会議での発表のための費用や論文の投稿費等に充てたい。

  • Research Products

    (18 results)

All 2020 2019

All Journal Article (6 results) (of which Peer Reviewed: 6 results) Presentation (12 results) (of which Int'l Joint Research: 10 results,  Invited: 2 results)

  • [Journal Article] A Correlated Random Walk Modeling Method for Dairy Cow Inter-calving Body Condition Score Pattern Analysis2020

    • Author(s)
      Thi Thi Zin, Pyke Tin, H. Hama
    • Journal Title

      ICIC Express Letters,

      Volume: 14 Pages: ー

    • Peer Reviewed
  • [Journal Article] Robust Tracking of Cattle Using Super Pixels and Local Graph Cut for Monitoring Systems2020

    • Author(s)
      Y. Hashimoto, H. Hama, Thi Thi Zin
    • Journal Title

      International Journal of Innovative Computing, Information and Control (IJICIC)

      Volume: 16 Pages: ー

    • Peer Reviewed
  • [Journal Article] A Hybrid Visual Stochastic Approach to Dairy Cow Monitoring System2019

    • Author(s)
      Thi Thi Zin, Pyke Tin, I. Kobayashi, H. Hama
    • Journal Title

      Transactions on Engineering Technologies, Springer - ITET

      Volume: ー Pages: 119~129

    • DOI

      10.1007/978-981-32-9808-8_10

    • Peer Reviewed
  • [Journal Article] Image Technology and Matrix-Geometric Method for Automatic Dairy Cow Body Condition Scoring2019

    • Author(s)
      Thi Thi Zin, Pyke Tin, Y. Horii, and I. Kobayashi
    • Journal Title

      International Journal of Biomedical Soft Computing and Human Sciences (IJBSCHS)

      Volume: 24 Pages: 29~37

    • Peer Reviewed
  • [Journal Article] Deep Learning for Recognizing Human Activities Using Motions of Skeletal Joints2019

    • Author(s)
      Phyo Cho Nilar, Thi Thi Zin, Pyke Tin
    • Journal Title

      IEEE Transactions on Consumer Electronics

      Volume: 65 Pages: 243~252

    • DOI

      10.1109/TCE.2019.2908986

    • Peer Reviewed
  • [Journal Article] Complex Human-Object Interactions Analyzer Using a DCNN and SVM Hybrid Approach2019

    • Author(s)
      Phyo Cho Nilar, Thi Thi Zin, Pyke Tin
    • Journal Title

      Applied Sciences

      Volume: 9 Pages: 1869~1869

    • DOI

      10.3390/app9091869

    • Peer Reviewed
  • [Presentation] Body Condition Score Assessment of Depth Image Using Artificial Neural Network2020

    • Author(s)
      Thi Thi Zin, Pann Thinzar Seint, Pyke Tin, Y. Horii
    • Organizer
      In 9th International Conference on Intelligent Computing and Applications (ICICA)
    • Int'l Joint Research
  • [Presentation] Time to Dairy Cow Calving Event Prediction by Using Time Series Analysis2020

    • Author(s)
      Thi Thi Zin, K. Sumi and Pyke Tin
    • Organizer
      In 9th International Conference on Intelligent Computing and Applications (ICICA)
    • Int'l Joint Research
  • [Presentation] The Body Condition Score Indicators for Dairy Cows Using 3D Camera2020

    • Author(s)
      Thi Thi Zin, Pann Thinzar Seint, Pyke Tin, Y. Horii
    • Organizer
      International Workshop on Frontiers of Computer Vision (IW-FCV)
    • Int'l Joint Research
  • [Presentation] Background Modelling Using Temporal Average Filter and Running Gaussian Average2020

    • Author(s)
      Thi Thi Zin, Cho Cho Mar and K. Sumi
    • Organizer
      International Workshop on Frontiers of Computer Vision (IW-FCV)
    • Int'l Joint Research
  • [Presentation] Some Aspects of Mathematical Modeling Techniques in Dairy Science2020

    • Author(s)
      Thi Thi Zin, Pyke Tin and H. Hama
    • Organizer
      International Workshop on Frontiers of Computer Vision (IW-FCV)
    • Int'l Joint Research
  • [Presentation] ICT Based Cow Monitoring System2020

    • Author(s)
      Thi Thi Zin
    • Organizer
      Invited Talk, Computer University (Meikhtila), Myanmar
    • Invited
  • [Presentation] 従来型農業からスマート農業への転換「画像処理技術を用いた牛のモニタリングシステム」2019

    • Author(s)
      Thi Thi Zin
    • Organizer
      宮崎県立宮崎北高等学校のさくらサイエンスプランによる台湾高校生対象の講演(英語、日本語)
    • Invited
  • [Presentation] Image-Based Feeding Behavior Detection for Dairy Cow2019

    • Author(s)
      Shiiya Kazuhisa, Otsuka Fuminori, Thi Thi Zin, I. Kobayashi
    • Organizer
      Proc. of 2019 IEEE 8th Global Conference on Consumer Electronics (GCCE 2019)
    • Int'l Joint Research
  • [Presentation] Consumer Technology Perspective of a Trinomial Random Walk Model2019

    • Author(s)
      Thi Thi Zin, Pyke Tin, H. Hama
    • Organizer
      Proc. of the 2019 IEEE 8th Global Conference on Consumer Electronics (GCCE)
    • Int'l Joint Research
  • [Presentation] Multivariate Stochastic Analyzer for Dairy Cow Body Condition Scoring2019

    • Author(s)
      Thi Thi Zin, K. Sumi, Pyke Tin
    • Organizer
      in Proc. of the International Conference on Digital Image and Signal Processing (DISP 2019)
    • Int'l Joint Research
  • [Presentation] Incorporating Digital Imaging in Dairy Cow Anatomical Feature Detection2019

    • Author(s)
      Thi Thi Zin, Cho Nilar Phyo, Pyke Tin
    • Organizer
      in Proc. of the International Conference on Digital Image and Signal Processing
    • Int'l Joint Research
  • [Presentation] An Algebraic Geometric Imaging Approach for Automatic Dairy Cow Body Condition Scoring System2019

    • Author(s)
      Thi Thi Zin, Pyke Tin, I. Kobayashi and Y. Horii
    • Organizer
      in Proc. of 2019 International Conference on Precision Dairy Farming Technologies and Applications
    • Int'l Joint Research

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi