Development of grass species classification method using motion analysis

2022 Fiscal Year Annual Research Report

• Project/Area Number: 22K19855
• Research Institution: National Agriculture and Food Research Organization
• Principal Investigator: 小花和 宏之 国立研究開発法人農業・食品産業技術総合研究機構, 北海道農業研究センター, 上級研究員 (10422205)
• Project Period (FY): 2022-06-30 – 2023-03-31
• Keywords: 牧草 / 雑草 / ドローン / 動画 / 動体解析 / 深層学習 / 画像解析

Outline of Annual Research Achievements

農研機構北海道農業研究センター（札幌市）内の採草地において、牧草（チモシー）と雑草（シバムギ）を対象として、上空5 mにホバリング（停止飛行）させたドローン（DJI Phantom 4 RTK）から、風に揺れる草の動画を撮影した。動画の長さは30秒、解像度は約1 mm/ピクセルである。両調査区は隣接しており、1台のドローンで同時に撮影したため、撮影中の風の状況はほぼ同一である。
撮影した動画を1/30秒間隔で合計900コマの連続画像に分割し、さらに牧草と雑草の1×1 mの枠内を15×15ピクセルを一つの格子として、それぞれ69×69＝4,761枠に分割した。その後、画面内の物体の移動方向と速度を計測するソフトウェア（ライブラリー社、Flow-PIV）を用いて、風に揺れる草の動きを数値化した。その結果、牧草の移動速度は0～86.3 cm/s（平均5.9 cm/s）、雑草の移動速度は0～89.2 cm/s（平均6.4 cm/s）であった。
以上の画像解析により得られた、雑草と牧草それぞれに関する4,761枠×900コマの移動速度データを、7:1:2の比率で学習（牧草3,333枠＋雑草3,333枠＝合計6,666枠）、検証（合計952枠）、テスト（合計1,904枠）用に分割した。次に、学習および検証データを用いて、風による草の揺れ方の時系列データから牧草と雑草を分類する手法（並列分岐畳み込みニューラルネットワーク）を作成した。作成した深層学習モデルの分類精度をテストデータを用いて評価したところ、正解率は100%であった。
今回の検証により、空撮動画の深層学習処理により牧草と雑草を分類できる可能性が示された。今後、データの量（データ数）と種類（草の種類、生育段階、風および空撮の条件）を増やし、分類モデルをさらに最適化することで、本手法の信頼性および汎用性が向上すると考えられる。