| 研究課題/領域番号 |
22K05915
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分41040:農業環境工学および農業情報工学関連
|
|---|
| 研究機関 | 第一工科大学 |
|---|
研究代表者 |
渋沢 良太 第一工科大学, 工学部, 講師 (10704588)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2025年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2024年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2022年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
|
|---|
| キーワード | 動物の骨格推定 / 肉牛の発情検知 / 農業支援システム / 骨格推定モデル / 説明可能性 / X-Reality / Data-driven agriculture / Explainable AI / Human-AI Integration / Human-Nature Interaction |
|---|
| 研究開始時の研究の概要 |
本研究では，カメラやマイクロフォンアレイ等の非接触センサを用いて牛舎内の牛の行動を記録する．その際，画像認識，音声認識を行って個体識別し，個体ごとに情報を集計，分析する．そして各個体の姿勢情報，音声情報に基づき発情，転倒を自動認識する．また，発情，転倒を認識した根拠となる動画像，音声を抽出して記録し，畜主に通知する．加えて動画像，音声でも分かりづらい根拠となる情報は，VRコンテンツとして表現する．本研究の成果は，肉用牛以外の様々な家畜，動物の健康状態を把握するシステムへの発展が期待できる．又，人に分かりやすく重要な情報を抽出して記録できるため，畜産業を目指す者の学習支援への活用も期待できる．
|
| 研究実績の概要 |
牛は1日のうちの多くを，あまり動かすに過こしている.そのため，常時ネットワークカメラて動画を録画し，全ての動画に対して乗駕検知を行うのは非効率てある.そこで，一般的なフレーム間差分法等て，動きのあるシーンのみを録画し，そのシーンの動画のみを対象に姿勢推定処理を行う.動きのあるシーンの抽出は，NestCamの標準機能として搭載されている，モーション検知機能を使って行い，抽出された動画は自動的にクラウドサーバに保存するようにした.本研究における姿勢推定処理ては，PyTorchべースの深層学習ライブラリてあるOpenMMLabの，mm-poseを使用した.mm-poseでは，様々な学習済みモデルを使用して姿勢推定か可能てあり，本研究てはMicrosoftCOCOの動物画像テータをもとに学習した，ResNet-101ベースの推論器を使用した.また，この推論器はトップダウン型のアプローチで，ます画像中の複数頭いる牛のそれそれのバウンディングホックスを検出した後，各ハウンティンクホックス内の牛の姿勢推定を行う.姿勢推定ては，顔部6点，背中2点，各脚の関節3点の合計20点の特徴点の推定か行われる.
上記の方法によって，動画中の乗駕時に，乗駕している方の牛のバウンディングボックスが正しく推定されている場合をバウンディングボックス推定成功とみなした.同様に，動画中の乗駕時に，乗駕している方の牛の姿勢か正しく推定されている場合を姿勢推定成功とみなした.バウンディングボックス推定は約93%の正解率，姿勢推定は約63%の正解率て推定可能てあった.
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の計画では，令和5年度に，頚椎2箇所，腰椎1箇所，手脚9箇所の合計12箇所の位置を機械学習により推定する手法を開発することを目的としていた．上記の研究成果の概要で述べた姿勢推定ては，顔部6点，背中2点，各脚の関節3点の合計20点の特徴点の推定か行えた．
日中の撮影(カラーモードでの撮影)と，夜間の撮影(赤外線モードでの白黒撮影)それぞれで結果を見ると，カラー撮影の場合は，総してハウンティンクホックスは正しく認識てきていた.しかし，実験で使用した最も広い牛舎ては，赤外線撮影時のハウンティンクホックス推定率か46%とあまり高くなかった.mm-poseの推論器ては，一定以上広い牛舎て，一定以上被写体とカメラの距離か離れている場合，赤外線撮影時のハウンティンクホックス推定は難しいと考えられ，1つの牛舎内に設置するカメラの数を増やす必要かあると考えられる.
|
| 今後の研究の推進方策 |
mm-poseの別の推論器でも実験したり，姿勢推定のモデルに対して，学習データを追加して追学習させたり，アルゴリズムを改良する必要がある.mm-poseの学習データセットである，MicroSoftCOCOのanimalcowに含まれている牛の種類は，ホルスタインやジャージーが多く，今回対象とした黒毛和牛のデータはほぼ含まれていないため，追学習によって性能を改善する．また，上記の方法によって発情，転倒を認識した時を含む前後一定時間の牛舎全体の様子を，手法で得た各牛の位置，姿勢情報を基に自動的に3DCGとしてVR表現する手法を開発する．これにより動画像だけでは捉えられない全体的な情報を得れるようにする．
|
