2023 Fiscal Year Research-status Report
Development of a Human-AI Cooperative Management System for Highly Accurate Estrus and Falling Down Flat Detection in Beef Cattle
| Project/Area Number |
22K05915
|
|---|
| Research Institution | Daiichi Institute of Technology |
|---|
Principal Investigator |
渋沢 良太 第一工科大学, 工学部, 講師 (10704588)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 動物の骨格推定 / 肉牛の発情検知 / 農業支援システム |
|---|
| Outline of Annual Research Achievements |
牛は1日のうちの多くを，あまり動かすに過こしている.そのため，常時ネットワークカメラて動画を録画し，全ての動画に対して乗駕検知を行うのは非効率てある.そこで，一般的なフレーム間差分法等て，動きのあるシーンのみを録画し，そのシーンの動画のみを対象に姿勢推定処理を行う.動きのあるシーンの抽出は，NestCamの標準機能として搭載されている，モーション検知機能を使って行い，抽出された動画は自動的にクラウドサーバに保存するようにした.本研究における姿勢推定処理ては，PyTorchべースの深層学習ライブラリてあるOpenMMLabの，mm-poseを使用した.mm-poseでは，様々な学習済みモデルを使用して姿勢推定か可能てあり，本研究てはMicrosoftCOCOの動物画像テータをもとに学習した，ResNet-101ベースの推論器を使用した.また，この推論器はトップダウン型のアプローチで，ます画像中の複数頭いる牛のそれそれのバウンディングホックスを検出した後，各ハウンティンクホックス内の牛の姿勢推定を行う.姿勢推定ては，顔部6点，背中2点，各脚の関節3点の合計20点の特徴点の推定か行われる.
上記の方法によって，動画中の乗駕時に，乗駕している方の牛のバウンディングボックスが正しく推定されている場合をバウンディングボックス推定成功とみなした.同様に，動画中の乗駕時に，乗駕している方の牛の姿勢か正しく推定されている場合を姿勢推定成功とみなした.バウンディングボックス推定は約93%の正解率，姿勢推定は約63%の正解率て推定可能てあった.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画では，令和5年度に，頚椎2箇所，腰椎1箇所，手脚9箇所の合計12箇所の位置を機械学習により推定する手法を開発することを目的としていた．上記の研究成果の概要で述べた姿勢推定ては，顔部6点，背中2点，各脚の関節3点の合計20点の特徴点の推定か行えた．
日中の撮影(カラーモードでの撮影)と，夜間の撮影(赤外線モードでの白黒撮影)それぞれで結果を見ると，カラー撮影の場合は，総してハウンティンクホックスは正しく認識てきていた.しかし，実験で使用した最も広い牛舎ては，赤外線撮影時のハウンティンクホックス推定率か46%とあまり高くなかった.mm-poseの推論器ては，一定以上広い牛舎て，一定以上被写体とカメラの距離か離れている場合，赤外線撮影時のハウンティンクホックス推定は難しいと考えられ，1つの牛舎内に設置するカメラの数を増やす必要かあると考えられる.
|
| Strategy for Future Research Activity |
mm-poseの別の推論器でも実験したり，姿勢推定のモデルに対して，学習データを追加して追学習させたり，アルゴリズムを改良する必要がある.mm-poseの学習データセットである，MicroSoftCOCOのanimalcowに含まれている牛の種類は，ホルスタインやジャージーが多く，今回対象とした黒毛和牛のデータはほぼ含まれていないため，追学習によって性能を改善する．また，上記の方法によって発情，転倒を認識した時を含む前後一定時間の牛舎全体の様子を，手法で得た各牛の位置，姿勢情報を基に自動的に3DCGとしてVR表現する手法を開発する．これにより動画像だけでは捉えられない全体的な情報を得れるようにする．
|
| Causes of Carryover |
ほぼ計画通りに経費を使用できた．販売価格の変化により，わずかに差が生じた．
|
