• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

Realizing robust SLAM using a non-uniform group of UGVs and UAVs for large-scale field management

Research Project

Project/Area Number 20K04392
Research InstitutionHokkaido University

Principal Investigator

江丸 貴紀  北海道大学, 工学研究院, 准教授 (30440952)

Project Period (FY) 2020-04-01 – 2023-03-31
KeywordsSLAM
Outline of Annual Research Achievements

本研究では、広域な森林管理に有効な無人飛行体(UAV, Unmanned Aerial Vehicle)と無人地上移動機 (UGV, Unmanned Ground Vehicle)との連携による地図生成と自己位置同定の同時解決問題 (SLAM, Simultaneous Localization And Mapping)を目的とする。林業においては樹木を植栽してから伐採するまでの様々な作業において機械化が進んでいるが、育林初期における下草刈りは大きなコスト、人手が必要にもかかわらず作業の自動化が進んでいない。本研究では、UGVに搭載したカメラ画像認識による樹木と下草の識別精度向上に取り組むとともに、UAVからの情報を補完的に利用することにより樹木や地形をロバストに認識し、さらに認識結果を生かした高精度マップを構築することによって林業環境における除草作業の軽労化・自動化実現を目指す。令和2年度の研究実績概要は以下のとおりである。

課題1[画像認識]:画像情報を利用して樹木と雑草を識別するために、物体検出器・HOG を対象となる樹木に適用し、パターン認識手法・SVMの手法と組み合わせることで対象となる樹木を検出する検出器を作成した。
課題2[SLAM]:樹木に覆われて衛星が補足できないという森林環境では樹木を特徴点として利用する確率的な手法が有効である。そこで、RGB-Dカメラによって得られた3次元情報と樹木の検出器の情報を組み合わせることで、GNSSの情報が間欠的にしか得られないような森林環境下において、より精度の高いロボットの自己位置推定を行う手法について研究した。
課題3[UGV-UAV連携]:UAVとUGV間の通信と、充電のためのドッキング機構に関する基礎的研究を行った。ロバストなドッキングを実現する機構および制御手法について研究を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

令和2年度の研究目標は、広域な森林管理に有効なUAVとUGVとの連携によるロバストなSLAMを実現するために、上記の課題1~課題3を解決することである。課題1および課題2については実フィールドによって得られたデータに基づいて研究を進める必要があるが、令和2年度はコロナ禍の影響によりフィールドにおけるデータ収集を頻繁に行うことができなかったため、特に検証については今年度の課題として残っている。しかしながら、これまでのプロジェクトで我々が蓄積したデータを利用することによって研究を推進した。課題3については当初の計画以上に進展することができた。これをもって、研究プロジェクトトータルとしては「おおむね順調に進展している」とする。以下、それぞれについて詳細に説明する。

課題1[画像認識]:研究室でこれまでに取得したデータを利用することによって、HOGおよびSVMによる樹木の認識器を構成したが、サンプルデータを増やすための実験を行うことができなかった。対象となる樹木のバリエーションを増やす、また認識精度を向上させるためにはサンプルとなるデータを増やす必要があるため、この部分が課題として残っている。
課題2[SLAM]:「みちびき」として知られるQZSSのサービスを利用することによって屋外環境においてセンチメートルオーダーの測位がこれまでの比較的低コストで実現できる環境が整ってきた。このデータをGround Truthとして利用することによって自己位置同定精度を評価できるが、コロナ禍の影響によりデータ取得実験の回数が不足した。
課題3[UGV-UAV連携]:UGV-UAVのドッキング機構を3Dプリンタによって作成し、その制御手法について研究を行うことにより、ロバストなドッキングを実現することが可能になった。

Strategy for Future Research Activity

令和3年度は育林初期のフィールドにおいて実証実験を実施し、令和2年度に確立した要素技術の統合を図る。また、令和2年度にコロナ禍の影響により実施できなかった実フィールドにおける実証実験を可能な限り実施し、提案手法の検証及びブラッシュアップに努める。なお、当初の計画ではフィリピンのバナナ、タイのゴム、マレーシアの油ヤシ(パームツリー)などに代表される海外プランテーションにおける調査を予定していたが、令和3年度においても海外におけるデータ収集は非常に難しいと考えられる。そこで国内、特に北海道内のフィールドにおいて実証実験を行うべく準備を進める。具体的な取り組みとして、課題1および課題3について以下のように研究を進める。
課題1[画像認識]:雑草と樹木の識別精度は、天候などの条件によって大きく変動することが考えられる。令和2年度の成果をもとに、深層学習の分野の成果を取り入れながら樹木をロバストに認識可能となるような改良を図る。地図が作成された後は樹木の位置は大きく変わらないことから、自己位置同定の結果を利用することによる、地図情報をもとにした認識の高速化などについても検討する。
課題3[UGV-UAV連携]:GNSSの情報が安定して利用できない環境下でのUAVの自律的運用について検討し、複数のUAV間の通信を確立するとともに、UGVとも通信して正確な現在位置を獲得する手法を確立する。この時、UAVとUGVの間には、速度や実際に通過可能な経路の違いが存在する。これらの情報を動的に融合することによる、3次元的なSLAMとしての問題解決に取り組む。

Causes of Carryover

当初計画では地上移動ロボット、LiDAR等を導入する計画であったが、他プロジェクトで導入した物品を効率的に運用することにより予算を効率的に執行することができた。そこで、屋外環境における運用が容易であり、効率的なデータ収集を行うことができるUAVとしてDJI社 MATRICE 300 RTK Enterprise Shield Basicを導入した。
この事例をはじめとして、研究代表者・研究協力者が所有する計測機器などを効率的に利用することにより予算の執行を効率的に行い、結果として1,162円を次年度使用額として繰り越した。

繰越額が相対的に大きな金額ではないため、令和3年度は当初の研究計画に基づき、効率的な予算執行に努める。

  • Research Products

    (28 results)

All 2021 2020

All Journal Article (5 results) (of which Peer Reviewed: 4 results) Presentation (23 results) (of which Int'l Joint Research: 10 results)

  • [Journal Article] Autonomous VTOL-UAV Docking System for Heterogeneous Multirobot Team2021

    • Author(s)
      Narvaez Eduardo、Ravankar Ankit A.、Ravankar Abhijeet、Emaru Takanori、Kobayashi Yukinori
    • Journal Title

      IEEE Transactions on Instrumentation and Measurement

      Volume: 70 Pages: 1~18

    • DOI

      10.1109/TIM.2020.3039649

    • Peer Reviewed
  • [Journal Article] Line Segment Extraction and Polyline Mapping for Mobile Robots in Indoor Structured Environments Using Range Sensors2020

    • Author(s)
      Ravankar Ankit A.、Ravankar Abhijeet、Emaru Takanori、Kobayashi Yukinori
    • Journal Title

      SICE Journal of Control, Measurement, and System Integration

      Volume: 13 Pages: 138~147

    • DOI

      10.9746/jcmsi.13.138

    • Peer Reviewed
  • [Journal Article] Relative positioning control of flexible structure for precise positioning stage2020

    • Author(s)
      OGAWA Hironori、KOBAYASHI Yukinori、EMARU Takanori
    • Journal Title

      Mechanical Engineering Journal

      Volume: 7 Pages: 19-00443

    • DOI

      10.1299/mej.19-00443

    • Peer Reviewed
  • [Journal Article] HPPRM: Hybrid Potential Based Probabilistic Roadmap Algorithm for Improved Dynamic Path Planning of Mobile Robots2020

    • Author(s)
      Ravankar Ankit A.、Ravankar Abhijeet、Emaru Takanori、Kobayashi Yukinori
    • Journal Title

      IEEE Access

      Volume: 8 Pages: 221743~221666

    • DOI

      10.1109/ACCESS.2020.3043333

    • Peer Reviewed
  • [Journal Article] AI・IT・RTを用いた農林業支援ロボットの開発2020

    • Author(s)
      江丸貴紀
    • Journal Title

      北海道芝草研究会報

      Volume: 44 Pages: 3-7

  • [Presentation] Mobile Robot Navigation Based on Deep Reinforcement Learning with Range Only Sensor2021

    • Author(s)
      Beomsoo Han, Ankit Ravankar, Takanori Emaru
    • Organizer
      IEEE International Conference on Intelligence and Safety for Robotics
    • Int'l Joint Research
  • [Presentation] Dynamic Motion Planning for Mobile Robots using Improved Artificial Potential Field Method2021

    • Author(s)
      Ankit Ravankar , Abhijeet Ravankar , Takanori Emaru, Yukinori Kobayashi
    • Organizer
      26th International Symposium on Artificial Life and Robotics
    • Int'l Joint Research
  • [Presentation] Monocular Visual-Inertial Localization in a Point Cloud Map Using Feature-To-Distribution Registration2021

    • Author(s)
      Su Wang, Ankit Ravankar, Abhijeet Ravankar, Takanori Emaru, Yukinori Kobayashi
    • Organizer
      IEEE/SICE International Symposium on System Integration
    • Int'l Joint Research
  • [Presentation] Real-Time Interpolation Method for Sparse LiDAR Point Cloud Using RGB Camera2021

    • Author(s)
      Tomohiko Hasegawa, Takanori Emaru, Ankit Ravankar
    • Organizer
      IEEE/SICE International Symposium on System Integration
    • Int'l Joint Research
  • [Presentation] Improved Scan Matching Performance in Snowy Environments Using Semantic Segmentation2021

    • Author(s)
      Masahiro Obuchi, Takanori Emaru, Ankit Ravankar
    • Organizer
      IEEE/SICE International Symposium on System Integration
    • Int'l Joint Research
  • [Presentation] SVM Based Pedestrian Detection System for Sidewalk Snow Removing Machines2021

    • Author(s)
      Yuta Sasaki, Takanori Emaru, Ankit Ravankar
    • Organizer
      IEEE/SICE International Symposium on System Integration
    • Int'l Joint Research
  • [Presentation] インフラの維持管理を目的としたARマーカーを用いた高精度地図生成2021

    • Author(s)
      日向涼,江丸貴紀,A.A. Ravankar
    • Organizer
      第53回計測自動制御学会北海道支部学術講演会
  • [Presentation] UAVを用いた広域なフィールドを管理するためのVisual-SLAM の適用2021

    • Author(s)
      竹内一真,江丸貴紀,A.A. Ravankar
    • Organizer
      第53回計測自動制御学会北海道支部学術講演会
  • [Presentation] 積雪環境における赤外線サーモグラフィを用いた単眼Visual SLAM2021

    • Author(s)
      中出崚太,江丸貴紀,A.A. Ravankar
    • Organizer
      第53回計測自動制御学会北海道支部学術講演会
  • [Presentation] 高精度 SLAM のための疎な LiDAR情報を使用したスキャンマッチングの改善手法の提案2021

    • Author(s)
      高野睦巳,江丸貴紀,A.A. Ravankar
    • Organizer
      第53回計測自動制御学会北海道支部学術講演会
  • [Presentation] 低解像度赤外線サーモグラフィを用いた降雪環境における人物検出2021

    • Author(s)
      高橋悠人,江丸貴紀,A.A. Ravankar
    • Organizer
      第53回計測自動制御学会北海道支部学術講演会
  • [Presentation] 自動除草ロボットのためのロバストな畝の認識方法と車体制御の提案2021

    • Author(s)
      井内悠介,江丸貴紀,A.A. Ravankar
    • Organizer
      第53回計測自動制御学会北海道支部学術講演会
  • [Presentation] Development of Robust Ridge Detection Method and Control System for Autonomous Navigation of Mobile Robot in Agricultural Farm2020

    • Author(s)
      Shunsuke Fujita, Takanori Emaru, Ankit Ravankar, Yukinori Kobayashi
    • Organizer
      23rd CISM IFToMM Symposium on Robot Design, Dynamics and Control
    • Int'l Joint Research
  • [Presentation] Semantic Segmentation for Road Surface Detection in Snowy Environment2020

    • Author(s)
      Sirawich Vachmanus, Ankit A. Ravankar, Takanori Emaru, Yukinori Kobayashi
    • Organizer
      2020 59th Annual Conference of the Society of Instrument and Control Engineers of Japan
    • Int'l Joint Research
  • [Presentation] Semantic Image Segmentation on Snow Driving Scenarios2020

    • Author(s)
      Yayun Lei, Takanori Emaru, Ankit A. Ravankar, Yukinori Kobayashi, Su Wang
    • Organizer
      IEEE International Conference on Mechatronics and Automation (ICMA 2020)
    • Int'l Joint Research
  • [Presentation] Estimation of Tree Diameter at Breast Height using Stereo Camera by Drone Surveying and Mobile Scanning Methods2020

    • Author(s)
      Visarut Trairattanapa, Ankit A. Ravankar, Takanori Emaru
    • Organizer
      59th Annual Conference of the Society of Instrument and Control Engineers of Japan (SICE 2020)
    • Int'l Joint Research
  • [Presentation] 未知環境におけるUAV用リアルタイムナビゲーションシステムの開発2020

    • Author(s)
      久保共平,江丸貴紀,RAVANKAR Ankit
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会
  • [Presentation] 歩道除雪環境におけるLiDARを用いたロバスト歩行者検出システム2020

    • Author(s)
      佐々木祐太,江丸貴紀,Ravankar Ankit
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会
  • [Presentation] 積雪環境におけるスキャンマッチングを用いた自己位置推定性能の改善2020

    • Author(s)
      小渕雅弘,江丸貴紀,Ravankar Ankit
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会
  • [Presentation] 歩道除雪作業の効率化を目的としたサーマルカメラによる人物検出2020

    • Author(s)
      南岡和弥,江丸貴紀,Ravankar Ankit
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会
  • [Presentation] サーモカメラを用いた LiDAR 点群のリアルタイム補完手法の提案2020

    • Author(s)
      長谷川智彦,江丸貴紀,Ravankar Ankit
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会
  • [Presentation] UAVを用いた自動スペクトル計測システムにおけるジンバル制御2020

    • Author(s)
      楊延峰,江丸貴紀,Ravankar Ankit
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会
  • [Presentation] UAVを用いた自動スペクトル計測システムにおける三次元飛行経路の生成2020

    • Author(s)
      本間貫太,江丸貴紀,Ravankar Ankit
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi