高指向性超音波放射圧を利用した非接触ピンポイント全自動受粉システムの開発研究

• Project/Area Number: 17H03894
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Agricultural environmental engineering/Agricultural information engineering
• Research Institution: Kyoto University
• Principal Investigator: 清水 浩 京都大学, 農学研究科, 教授 (50206207)
• Project Period (FY): 2017-04-01 – 2022-03-31
• Project Status: Declined (Fiscal Year 2020)
• Budget Amount: ¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000); Fiscal Year 2020: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2019: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000); Fiscal Year 2018: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2017: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
• Keywords: 施設園芸・植物工場 / 自動化 / 植物工場 / 超音波放射圧 / 画像処理 / 機械学習

Outline of Annual Research Achievements

2018年度は、３Dカメラ（Intel RealSense F200）で取得したイチゴの画像（カラー画像と距離画像）のうち、カラー画像を使用してイチゴの花の認識を行った。具体的には、モデル作成に用いた画像データは愛媛県のイチゴ農場で撮影された188枚のイチゴ画像に画像処理を施して3384枚にしたものを使用した。そのうちの338枚を検証データ、残りの3046枚を学習データとした。次にアノテーションとして画像中の物体名と物体を囲む矩形の情報を記録していった。次にモデルの損失関数の値が減少しなくなるまで学習を行った。損失関数とは検出モデルの予測領域と正解領域のズレおよび分類のズレを数値化する関数で、学習が進む度に値が更新されていく。パラメータ選択にはIoU、ｍAPという精度指標を使用した。IoUとは予測領域と正解領域の重なり具合を示す指標で、ｍAPとは検出した物体が正しいかどうかを示す指標である。過学習が起こる直前の最も汎用性の高いパラメータセットの確認を試みたが、学習データと検証データの類似度が高く確認できなかった。パラメータの更新回数は十分であったので最も高精度のものを選択した。2つのモデルに対して検証データを入力しIoU、mAP、処理時間の比較を行った。精度は両モデルとも良い結果を示したが、処理時間に関してはv2が2倍ほど速く処理を完了した。想定する環境では動画を処理することとなり処理速度が重要であると考えた。以上よりYOLOv2を制御プログラムに実装することとした。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究計画では、2018年度は３Dカメラによる花の三次元座標計測システムの開発を挙げており、機械学習でカラー画像による花の認識ができれば、その重心位置の奥行き座標を求めることで、３次元座標を計算できる。また、2018年度には一般的な画像処理手法を用いて、花の三次元座標を求めるアルゴリズムを開発したが、実際に受粉作業を行なう温室や植物工場の光環境によって、画像処理に用いるしきい値が異なるため、現場でしきい値の再設定が必要となるなど、作業が煩雑になったため、2018年度に改めて機械学習による認識アルゴリズムの開発を行った。

Strategy for Future Research Activity

2019年度は、開発したシステムを営業運転している植物工場に持ち込み、様々な周波数の放射圧をイチゴの花に照射し、振動する様子をハイスピードカメラで撮影し、その画像から振幅を測定するなど、花の振動と超音波の変調周波数の関係を定量化する。また、2018年度に基礎データを取得したイチゴ花粉の可視化に関して、認識アルゴリズムを開発し、装置に実装する予定である。