• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Image Segmentation for Autonomous Driving of Air-land Unmanned Aerial Vehicle

Research Project

Project/Area Number 22K12094
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionKyushu Institute of Technology

Principal Investigator

芹川 聖一  九州工業大学, 大学院工学研究院, 教授 (60226686)

Co-Investigator(Kenkyū-buntansha) 北園 優希  北九州工業高等専門学校, 生産デザイン工学科, 准教授 (50612222)
Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords人工知能 / 空陸両用自律無人機 / 3次元物体認識 / セグメンテーション / 自律無人機 / 画像処理
Outline of Research at the Start

地域における物流の効率化によるCO2排出削減に向けて、空陸両用自律無人機での配送システムの開発が不可欠である。しかし、空陸両用自律無人機の活用において、自律的に飛行と走行を切り替える着陸点位置などの環境感知の課題が残っている。本研究では空陸両用無人機の自動運転のための画像セグメンテーションの開発を目的とする。具体的には空から陸上の周囲環境を人工知能により認識し、安全に自律離着陸できるアルゴリズムを開発する。そのために、深層学習を用いた複雑な着陸環境を認識する技術を開発する。本研究における強ノイズ環境下での画像情報を利用した空から撮影した小さなオブジェクトの認識は、学術的独自性と創造性がある。

Outline of Annual Research Achievements

地域における物流の効率化によるCO2排出削減に向けて、空陸両用自律無人機での配送システムの開発が不可欠である。しかし、空陸両用自律無人機の活用において、自律的に飛行と走行を切り替える着陸点位置などの知能環境感知の課題が残っている。そこで、本研究では3次元点群データの処理による物体検出が研究対象となっている。本提案の方法は、グローバルな特徴とローカルな特徴を抽出する方法を構築し、物体の外観的な特徴を記述して点群の特徴を抽出するとき、通常出現する無秩序性とスパース性の問題を解決する。候補領域を作成してマルチスケール予測ネットワークを用いて、目標領域の検出精度を向上させ、歩行者と自転車などの高精度で効率の良い3次元物体検出を実現する。
今年度では本研究における特徴の抽出ネットワークについて説明した。正規化した点群データをボクセル化し、点群データの無秩序性とスパース性の問題を解決した。その上で、画像生成器に基づく畳み込みニューラルネットワークを構築し、物体のグローバルな特徴とローカルな特徴を抽出した。そして、この2つの特徴をConcat構造で融合した。最後に、ボクセル化の方法の計算中の点群情報が損失するのを補うため、多層パーセプトロン(Multi-Layer Perceptron、MLP)を用いて元の点群をキーサンプリングし、できた外観記述子に特徴を補充して情報を監督することで、外観記述子の精度を向上させた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初計画の2次元画像から情報抽出は、距離や深度データが欠かせるため、3次元で物体を検出する背景と自動運転技術で必要とされる3次元物体検出方法を切り替えた。3次元物体検出法は、主に3次元点群やRGB-D画像などの3次元データを用いて物体のクラスとその位置を取得することである。その中で、深層学習を用いた3次元物体検出法では、ラベル付き3次元データを使い、目標の特徴を学習し、より正確な3次元の位置とクラスを判別できる。この方法は主に、グリッドベース方法とポイントベース方法に分けられる。前者は、データをボクセル化して目標の特徴マトリックスを取得し、深層畳み込みニューラルネットワークを用いて物体を検出する。後者は、3次元点群データを入力し、全結合ニューラルネットワークを用いて特徴を抽出し、物体を検出する。

Strategy for Future Research Activity

本研究の独創性と新規性は、グローバルな特徴とローカルな特徴の抽出方法を組み合わせることにより、従来の単一特徴抽出方法の問題を解決した。物体の外観特徴を記述して点群の特徴を抽出するとき、通常出現する無秩序性とスパース性の問題も解決した。そして、Visual Transformerに基づく空陸両用無人飛行機の自動運転のための3次元物体検出方法を用いて、目標領域の検出精度を向上させ、自動運転への展開を期待できる。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (10 results)

All 2023 2022

All Journal Article (7 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 7 results) Presentation (3 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Pose Estimation of Point Sets Using Residual MLP in Intelligent Transportation Infrastructure2023

    • Author(s)
      Li Yujie、Yin Zhiyun、Zheng Yuchao、Lu Huimin、Kamiya Tohru、Nakatoh Yoshihisa、Serikawa Seiichi
    • Journal Title

      IEEE Transactions on Intelligent Transportation Systems

      Volume: 24 Issue: 11 Pages: 13359-13369

    • DOI

      10.1109/tits.2023.3250604

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Squeeze-and-Excitation Block Based Mask R-CNN for Object Instance Segmentation2023

    • Author(s)
      Nagasawa Kouta、Ishiyama Shin、Lu Huimin、Kamiya Tohru、Nakatoh Yoshihisa、Serikawa Seiichi、Li Yujie
    • Journal Title

      Communications in Computer and Information Science

      Volume: 1732 Pages: 56-64

    • DOI

      10.1007/978-981-99-2789-0_5

    • ISBN
      9789819927883, 9789819927890
    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Keypoint3D: Keypoint-Based and Anchor-Free 3D Object Detection for Autonomous Driving with Monocular Vision2023

    • Author(s)
      Li Zhen、Gao Yuliang、Hong Qingqing、Du Yuren、Serikawa Seiichi、Zhang Lifeng
    • Journal Title

      Remote Sensing

      Volume: 15 Issue: 5 Pages: 1210-1210

    • DOI

      10.3390/rs15051210

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Multidimensional Deformable Object Manipulation Based on DN-Transporter Networks2023

    • Author(s)
      Teng Yadong、Lu Huimin、Li Yujie、Kamiya Tohru、Nakatoh Yoshihisa、Serikawa Seiichi、Gao Pengxiang
    • Journal Title

      IEEE Transactions on Intelligent Transportation Systems

      Volume: 24 Issue: 4 Pages: 4532-4540

    • DOI

      10.1109/tits.2022.3168303

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] LWD-3D: Lightweight Detector Based on Self-Attention for 3D Object Detection2022

    • Author(s)
      Yang Shuo、Lu Huimin、Kamiya Tohru、Nakatoh Yoshihisa、Serikawa Seiichi
    • Journal Title

      CAAI Artificial Intelligence Research

      Volume: 1 Issue: 2 Pages: 137-143

    • DOI

      10.26599/air.2022.9150009

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] 3D object detection using improved PointRCNN2022

    • Author(s)
      Fukitani Kazuki、Shin Ishiyama、Lu Huimin、Yang Shuo、Kamiya Tohru、Nakatoh Yoshihisa、Serikawa Seiichi
    • Journal Title

      Cognitive Robotics

      Volume: 2 Pages: 242-254

    • DOI

      10.1016/j.cogr.2022.12.001

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Noncontact button operation system using hand gestures2022

    • Author(s)
      Li Yujie、Hanaoka Osamu、Yang Shuo、Serikawa Seiichi
    • Journal Title

      Computers & Electrical Engineering

      Volume: 97 Pages: 107582-107582

    • DOI

      10.1016/j.compeleceng.2021.107582

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Presentation] Material Identification Method for Railway Structures Using 2D-LiDAR2023

    • Author(s)
      Masaya Kawaguchi; Seiji Nishifuji; Junya Ueki; Tsukasa Arimitsu; Yuhki Kitazono; Seiichi Serikawa
    • Organizer
      2023 IEEE/ACIS 8th International Conference on Big Data, Cloud Computing, and Data Science
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Improved point-voxel region convolutional neural network for small object detection2022

    • Author(s)
      Zherui Xie, Masaaki Tsuzaki, Huimin Lu, Seiichi Serikawa
    • Organizer
      International Symposium on Artificial Intelligence and Robotics 2022
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Grasp Position Estimation from Depth Image Using Stacked Hourglass Network Structure2022

    • Author(s)
      Keisuke Hamamoto; Huimin Lu; Yujie Li; Tohru Kamiya; Yoshihisa Nakatoh; Seiichi Serikawa
    • Organizer
      2022 IEEE 46th Annual Computers, Software, and Applications Conference
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi