Agricultural robot system to realize the three laws of robotics

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K06317
• Research Institution: Okayama University
• Principal Investigator: 門田 充司 岡山大学, 環境生命科学研究科, 教授 (80239714)
• Co-Investigator(Kenkyū-buntansha): 難波 和彦 岡山大学, 環境生命科学研究科, 准教授 (90263623)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 農業ロボット / 安全性 / 作業効率 / センシングシステム / 危険度

Outline of Annual Research Achievements

本研究は，センシングシステム，危険度の算出およびロボット制御の3要素から構成されるシステムにより，安全かつ効率的な農業ロボットシステムを実現することを最終目標としている。
初年度においては，収穫ロボットの外界センシングシステムの開発を行った。本研究では，フェンロ式大規模トマト生産施設で稼働するロボットを想定しており，収穫ロボットにおいては，収穫適期の果実を葉や茎，他の果実などと識別し，その位置検出を行うセンシングシステムが要求される。本研究においては，カラーカメラと三次元距離センサが一体となったセンサを用いた。まず，センサによってカメラからのカラー画像と3次元距離情報を取得し，カラー画像内において収穫対象となる赤色領域を抽出し，その輪郭線も求める。抽出した領域内において最も距離の小さい点（センサに最も近い点）を代表点とし，輪郭線までの距離を360度走査して求める。果実が隣接する部分は代表点からの距離が大きくなるので，しきい値を設定して対象果実の輪郭線だけを残す。次に，隣接した果実との境界を求める方法として，画像処理に用いられるSobelフィルタを距離画像に適応する。代表点から輪郭線の直線上において，距離情報の値が大きく変化する部分を果実が重なった境界部分と判断し，境界線を得る。この境界線を先に算出した輪郭線に加えれば，対象果実の輪郭を得ることができる。最終的に，この果実が茎葉等に隠されておらず，収穫可能かどうかの判断は，円形度等の特徴量を利用すれば可能である。実験の結果，約80％の果房において，収穫対象果実の識別に成功した。
また，同じセンサを用いて，人体の検出基礎実験を行った結果，距離情報を利用すれば，人間の位置や移動を検出できる可能性が確認できた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の計画としては，今年度はトマトを対象に，収穫適期の果実を検出する外界センシングシステムを開発することであり，ハードウエアとしては，カラーカメラと三次元距離センサが一体となったセンサを用いた。視覚アルゴリズムとしては，まず，果房内の収穫適期の果実を色によって認識し，次にカラー画像による収穫対象果実の輪郭抽出を行い，距離情報によって個々の果実を分離する。最終的には，主茎や葉，未熟果など，収穫時に障害物となる物体の存在を検出する。実験の結果，約80％の果房において，収穫対象果実の識別に成功した。今後は，さらにサンプル数を増やし，アルゴリズムのブラッシュアップを行えば，さらに制度は向上すると考えられた。
また2020年度は，ロボット周囲のセンシングを検討する。特に，ロボットの安全性ならびに作業効率の面から，人間の検出が主な内容となるが，今年度用いたセンサでも人間の位置や移動を検出できる可能性が確認されており，来年度の研究に用いるハードウエアの選択肢の一つとなっている。
以上の理由から，進捗状況としては，おおむね順調に進展しているといえる。

Strategy for Future Research Activity

ロボット使用の目的から，安全性と共に作業効率も無視できない要素である。人間が接近するたびにロボットを完全に停止させる方法は安全ではあるが，作業効率の面からは最良の手段だとはいえない。人間がロボットの近くにいる場合であっても，状況によってはロボットが作業を継続できる場合もある。よって，安全を確保しながら作業効率を低下させないために，危険性が大きくならない範囲でロボットの停止をなるべく避けながら，課せられた作業が遂行できるような制御が必要となる。そのためには，人間の位置や移動方向，速度などを検出し，危険性の程度を数値化して，ロボット制御（減速，回避，停止，加速など）を行う必要がある。これにより，安全性と作業効率の両立が実現できる。
2020年度は，人間の動きを定量的に計測するセンシングシステムの開発を行う。今年度，果実検出に用いたセンサも候補に入れ，センシングシステムの検討と人間の検出実験を主に行う予定である。ただし，新型コロナウイルスの影響で，計画が遅れているため，2021年度も継続して磁気圏を行う可能性もある。また，2020年度に設備備品としてロボットアームを購入予定であったが，状況によっては次年度になる可能性もある。
2021年度には，センシングシステムとロボットを連動させた場合における，危険度算出のアルゴリズムをコンピュータシミュレーションによって評価し，最終年度には温室内の実験によって，システム全体の検証を行う。

Causes of Carryover

設備備品であるロボットアームやレーザスキャナを2020年度に購入する予定で，研究経費の計画と申請を行った。しかし，交付額が申請額を大幅に下回ったため，今年度の使用額の一部を翌年度と合わせて，設備備品を購入することとした。