Study on imaging and visualization technology for an inside of a plant community in a large-scale field

2018 Fiscal Year Research-status Report

• Project/Area Number: 18K05910
• Research Institution: Akita Prefectural University
• Principal Investigator: 山本 聡史 秋田県立大学, 生物資源科学部, 准教授 (20391526)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 作物群落 / 生育情報 / ポイントクラウド

Outline of Annual Research Achievements

本研究では、大規模ほ場の作物群落に分け入って、作物側面の画像とカメラの位置姿勢情報を取得するマシンビジョンを構築し、ドローンにより取得したデータと統合してほ場全体の作物群落のポイントクラウドを生成し、CTスキャンのようにわかりやすく可視化する技術を開発する。
本年度は、360°カメラ（リコーTHETA V）を自撮り棒の先端に固定し、撮影者がなるべく写らないように離れながらイネ（条間30cm）とトウモロコシ（条間80cm）の群落内で画像（5376×2688画素）と動画（3840×1920画素、フレームレート30fps）を取得した。9月下旬に撮影を行い、イネは収穫1週間前の生育段階であり、トウモロコシは子実が熟した状態であった。イネの群落内では条間が狭く、作物とカメラが接触することがあったが、カメラ正面の近距離に位置する葉や茎、カメラ下方の土壌表面、イネの株元や雑草を鮮明に撮影でき、イネ群落内の作物の色情報を取得できる見込みが得られた。群落内が暗いため、カメラ上方にあるイネの穂や葉の一部が白飛びになり、イネのように群落の密度が高い作物では照明が必要と考えられた。また、倒伏部分では作物を引き起こしながら撮影したため、ポイントクラウドの位置情報と色情報の処理に工夫が必要と考えられた。トウモロコシでは子実、茎、葉、土壌表面が鮮明に撮影できたが、撮影している作物列に隣接する作物もあわせて写っているので、画像処理では対象作物列だけを抽出する必要があると推察された。一方、ドローンにより水田ほ場を撮影し、ほ場全体の作物群落のポイントクラウドを生成した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初計画していた複数の小型カメラを組み合わせたマシンビジョンではなく360°カメラと全天球画像の処理ソフトを用いることにより、群落内の色情報を簡易に取得できることを確認した。一方、対象に接近した画像データなのでカバーする範囲が狭く、大規模ほ場ではドローンと比較して画像データが膨大な量になると考えられた。このため、5m間隔でサンプリングした群落内部の色情報を地上高別にほ場全体でマッピングし、局所的に生成した作物群落内部のポイントクラウドとの整合性を評価する必要があると考えられた。もし整合性があれば、大規模ほ場をカバーする有効な手法として、サンプリングをベースにした群落内部の可視化技術の開発に取り組む。また、ドローンによりほ場全体の作物群落のポイントクラウドを生成し、解析する手法を既に確立していることから、群落内部空間の色情報とドローンのポイントクラウドを組み合わせた効果的な可視化技術を実現できると考えている。以上より、次年度以降、計画に沿って研究を進めることができると判断する。

Strategy for Future Research Activity

大規模ほ場をカバーするため、ほ場の作物群落全体の撮影方法として、RTK-GNSSを備えたドローンのジンバルにステーを設置し、その先端に360°カメラと照明を取り付け、5m程度の間隔で群落内部をサンプリングし、地上高度別にマッピングすることにより可視化する手法を検討する。作物群落が形成される時期から収穫まで定期的に撮影し、より詳細な生育情報の可視化を目指す。

Causes of Carryover

本研究に適したカメラが比較的低価格で購入できたため。次年度以降、ドローンと組み合わせたマシンビジョンの構築に必要な経費を計上する。