2020 Fiscal Year Research-status Report
Development of 365 Days Collaborative Small Agricultural Robot
| Project/Area Number |
20K06320
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
森尾 吉成 三重大学, 生物資源学研究科, 教授 (90273490)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 農業ロボット / 人工知能 / 深層学習 / エンドウ豆栽培 / 白黒マルチ被覆畝 / ステレオカメラ / LiDAR / 画像処理 |
|---|
| Outline of Annual Research Achievements |
本研究では，エンドウや梅を栽培するモデル農家が年間を通して運用できるロボットを開発するために，人工知能をはじめとする要素技術の開発を行う．
研究初年度は，1つ目のプロジェクトとして，エンドウ栽培の播種作業において，ロボットが，白黒マルチ被覆畝に沿って自動走行するためのシステムを開発した．ロボットの自己位置姿勢検出には，ステレオカメラを用いたORB-SLAM2法を用いた．畝中央ラインの検出には，深層学習モデルのYOLOv3法を用い，ステレオカメラから得られる畝領域の3次元点群データを用いて中央ラインの3次元直線式を推定した．推定した直線式を使って目標経路からのロボットの横偏差および進行方向偏差を計測するとともに，マルチ上に開けた播種穴の3次元位置を計測した．
次に，2つ目のプロジェクトとして，エンドウの生育管理作業において，カメラを取り付けたロボットや作業者が，畝間通路を移動する合間に作物の草高を自動計測するシステムを開発した．畝間通路内の移動軌跡は，ORB-SLAM2法を用いて計測し，移動経路に沿って観察される畝間通路や作物の先端は，YOLOv3法を用いて検出した．ステレオカメラから得られる3次元点群データを使って地面平面を推定し，推定した平面から植物先端までの距離を計測することによって作物の草高を計測した．
最後に，3つ目のプロジェクトとして，作業の進捗管理作業において，ロボットが，作業空間内の作業者や物体の動きを自動追跡するシステムを開発した．物体の3D LiDARとステレオカメラを融合させたシステムを開発し，作業空間内の作業者や資材といった複数の物体の動きを，種類も区別しながら同時に追跡するシステムを開発した．物体の種類の区別にはYOLOv3を用い，複数の物体の動きを画像中で追跡しながら，物体の3次元位置を3D LiDARから得られる3次元点群データによって計測した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウィルス感染対策のために，研究対象とする県外の圃場を使った研究が進まなかった．特に，適切なタイミングでのデータ収集や計測実験が行えなかった．
|
| Strategy for Future Research Activity |
新型コロナウィルスの感染対策を引き続き行わなければならないため，ロボットの動作設計には，3次元シミュレーションソフトを導入し，また，画像認識をはじめとする人工知能の開発に割く時間を多くすることによってソフトウェアの部分の開発を優先する．さらに，ロボットの部品製作に3Dプリンタを導入し，ロボット作業に必要なハードウェアの設計も進めながら，圃場での実験が不足する状況においても，ロボット開発を進めていく．
|
