赤外線サーモグラフィーと深層学習を用いたウシ分娩予知技術の開発
| Project/Area Number |
21K14949
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 41040:Agricultural environmental engineering and agricultural information engineering-related
|
|---|
| Research Institution | National Agriculture and Food Research Organization |
|---|
Principal Investigator |
三輪 雅史 国立研究開発法人農業・食品産業技術総合研究機構, 畜産研究部門, 研究員 (70806538)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2021: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
|
|---|
| Keywords | 牛 / 分娩予知 / 赤外線サーモグラフィー / 深層学習 / コンピュータビジョン / コンピュタータビジョン |
|---|
| Outline of Research at the Start |
安定した子牛生産の実現において分娩監視による分娩事故防止は重要である。農家の分娩監視を助ける技術として従来ウェアラブルデバイスで記録したウシの体温や行動に基づく分娩予知技術が開発されてきたが、デバイス装着の侵襲性等が懸念されており、非侵襲的技術が求められている。
本研究では非侵襲的に収集できる画像データに着目し、赤外線サーモグラフィーを用いたウシ分娩予知技術を開発する。赤外線サーモグラフィーによって得られる表面温度の画像（熱画像）に深層学習（DeepLearning）を適用し、熱画像からウシの身体部位を精度良く抽出することで、従来複数のセンサで実現していた体温と行動の同時評価を単独で実現する。
|
| Outline of Annual Research Achievements |
今年度はデータ収集を継続しつつ以下の課題に取り組んだ。
① 赤外線サーモグラフィー画像からのウシ個体および身体部位検出技術の確立
前年度に作成した解析フローを改良し、赤外線サーモグラフィー画像に対して前処理（高解像度化、色調補正）を行った上で、可視光線画像（RGB画像）での学習済み深層学習モデルによる物体検出（YOLOX）、特徴点検出（HRNet）、行動判別（MobileNet V3）を実施し、ウシとその身体部位の座標、姿勢（佇立/横臥）を自動検出した。体温予測に必要となる眼球座標について、画像から検出した座標と真の座標との推定誤差は11cmであった。眼球の大きさ（約3cm）と比べると大きな推定誤差だが、眼球が周囲より表面温度が高いことを利用して近傍の最大温度座標を探索することで正確な眼球座標を検出可能と考えられる。ただし、この解析では全フレームのうち最大でも30%強でしかウシを検出できず、眼球座標の検出率も20%弱に留まった。検出率を姿勢（佇立/横臥）ごとに比較すると横臥時の検出率がとくに低かったことから、姿勢ごとに学習データの補強が必要であると考えられた。また、特徴点検出モデルが遮蔽物等で画像に実際には写っていない眼球座標を補完して検出することがあり、検出した眼球座標が必ずしも体温予測に適さないことから、検出結果の信頼性を高める方法を検討する必要がある。
② 体温データに基づく分娩予知技術の確立
前年度に作成した腟温データに基づく分娩予知モデルを改良し、機械学習アルゴリズム（SVM/K-近傍法/決定木/Random Forest/ロジスティック回帰）間での推論性能を比較した。また、利用者の都合に合わせて任意の時間内（6-48時間以内）の分娩予知が可能なモデルへと拡張した。①が完成し次第、腟温データを赤外線サーモグラフィーによって取得した体表温データに置換して性能を検証する。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
初年度の測定機器の調達遅延、および測定機器の仕様に事前確認できない点があったことから、当初と比べて赤外線サーモグラフィーデータの収集と解析に依然として遅れがある。一方で、体温データを用いた分娩予知手法の確立は、赤外線サーモグラフィーをウェアラブルセンサで代替することで予定通り実施できており、両者を組み合わせることで本研究を達成できる段階にあると考えられる。
|
| Strategy for Future Research Activity |
研究期間の1年間延長を行った。最終年度は以下の内容を実施する
①‘ 赤外線サーモグラフィー画像からのウシ個体および身体部位検出技術の改良
今年度明らかとなった「横臥姿勢時の検出率の低下」を解決するために姿勢ごとの学習データの補強を行う。また、同じく「遮蔽物等で画像に実際に写っていない特徴点の補完」を解決するために、学習データのアノテーションの見直しおよび特徴点が実際に画像に写っているかを判断する仕組みを検討する（例．体の向きの推論、表面温度によるカットオフ）。
b) 体温データによる分娩予知技術の改良
①’の赤外線サーモグラフィーによる体温測定が実現した場合、ウェアラブルデバイスによる体温測定と異なり体温データを一定間隔で得ることが仕組み上困難である。そこで、欠損値を多く含む体温データでも予測可能なモデルへの改良を検討する。
|
Report
(3 results)
Research Products
(4 results)
