• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

画像処理及び深層学習を用いた植物機能の3次元情報解析

Research Project

Project/Area Number 19J22701
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 41040:Agricultural environmental engineering and agricultural information engineering-related
Research InstitutionThe University of Tokyo

Principal Investigator

板倉 健太  東京大学, 農学生命科学研究科, 特別研究員(DC1)

Project Period (FY) 2019-04-25 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥3,400,000 (Direct Cost: ¥3,400,000)
Fiscal Year 2021: ¥1,100,000 (Direct Cost: ¥1,100,000)
Fiscal Year 2020: ¥1,100,000 (Direct Cost: ¥1,100,000)
Fiscal Year 2019: ¥1,200,000 (Direct Cost: ¥1,200,000)
KeywordsLiDAR / 3次元 / 点群 / 深層学習 / 写真測量 / UAV / 樹木 / 3次元点群 / モニタリング / 画像解析 / 3次元情報
Outline of Research at the Start

産業革命以降、大気汚染や地球温暖化の問題が深刻化しており、環境悪化や生物多様性の喪失などの問題が生じている。植物の3次元構造(幹直径、樹高、葉面積、葉傾斜角等)はその植物の光合成機能、蒸散速度、バイオマスなどと関連し、植物の機能を決定する重要な要素である。本研究では、3次元センサー(ライダー)や立体写真測量の技術(SfM)を用いた植物の3次元測定を提案する。移動式ライダーやSfMにより精度よく植物の3次元測定を行い、さらに3次元点群処理や機械学習の手法を用いて自動的に対象植物の認識および解析を行う。

Outline of Annual Research Achievements

本年度は、LiDARと呼ばれる、レーザースキャナーにて樹木を計測し、そこで得られた3次元情報を高度に解析する技術の開発を行った。さらに、そのような3次元計測を自動化するための基礎検討として、ドローンの自律走行による樹木や樹上の果実などの物体の解析方法の開発を行った。
樹木の3次元情報の解析については、森林や都市の樹木を自動的に検出する方法や、樹木の葉と枝を自動的に分離する方法について研究を行った。この方法により、樹木個体の高さや幹の直径が解析できるだけでなく、葉の面積や樹木の幹の曲率などの情報も自動的に計算することが可能となる。このような高精度な解析を行うために、近年、深層学習の技術が用いられることが多いが、そのために、訓練データを用意することは容易ではない。そのため、教師なし学習と呼ばれる、訓練データの必要としない方法を提案した。
これらの樹木を含む対象の3次元計測は、多大な労力や計測時間を要するだけでなく、特に災害時などは危険が伴う作業である。そのため、本研究では、前方の障害物などを検知しつつ、最適な航路にて樹木の計測ができないかと考えた。そこで、樹木個体を自動的、かつ高精度に検出する方法や、UAV(Unmanned Aerial Vehicle)の自律走行実験を行う。ここでは、狭い領域や屋内でも利用可能な、小型のUAVを用いた。農園(屋外)にて小型ドローンを自律航行させ、対象の樹木にある果実を自動カウントすることを行った。ここでは、ドローンをプログラミングによって制御することで、ユーザーの手動による操縦を含まない。また、果実の検出に関しては、深層学習による方法や、古典的な画像解析による方法を並行して試し、より高精度な果実の検出技術を作成することができた。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Report

(3 results)
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • Research Products

    (14 results)

All 2021 2020 2019

All Journal Article (7 results) (of which Peer Reviewed: 5 results,  Open Access: 3 results) Presentation (7 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Automatic pear and apple detection by videos using deep learning and a Kalman filter2021

    • Author(s)
      Itakura Kenta、Narita Yuma、Noaki Shuhei、Hosoi Fumiki
    • Journal Title

      OSA Continuum

      Volume: 4 Issue: 5 Pages: 1688-1688

    • DOI

      10.1364/osac.424583

    • Related Report
      2021 Annual Research Report
  • [Journal Article] Tree detection from airborne LiDAR data using image processing and 3D deep learning2020

    • Author(s)
      板倉 健太、細井 文樹
    • Journal Title

      Intelligence, Informatics and Infrastructure

      Volume: 1 Issue: J1 Pages: 320-328

    • DOI

      10.11532/jsceiii.1.J1_320

    • NAID

      130007940731

    • ISSN
      2435-9262
    • Year and Date
      2020-11-11
    • Related Report
      2020 Annual Research Report
  • [Journal Article] Simple and effective tool for estimating tree trunk diameters and tree species classification2020

    • Author(s)
      Itakura Kenta、Hosoi Fumiki
    • Journal Title

      Applied Optics

      Volume: 59 Issue: 2 Pages: 558-558

    • DOI

      10.1364/ao.59.000558

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Automatic method for segmenting leaves by combining 2D and 3D image-processing techniques2020

    • Author(s)
      Itakura Kenta、Hosoi Fumiki
    • Journal Title

      Applied Optics

      Volume: 59 Issue: 2 Pages: 545-545

    • DOI

      10.1364/ao.59.000545

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Automatic Tree Detection from Three-Dimensional Images Reconstructed from 360° Spherical Camera Using YOLO v22020

    • Author(s)
      Itakura Kenta、Hosoi Fumiki
    • Journal Title

      Remote Sensing

      Volume: 12 Issue: 6 Pages: 988-988

    • DOI

      10.3390/rs12060988

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Voxel-based leaf area estimation from three-dimensional plant images2019

    • Author(s)
      ITAKURA Kenta、HOSOI Fumiki
    • Journal Title

      Journal of Agricultural Meteorology

      Volume: 75 Issue: 4 Pages: 211-216

    • DOI

      10.2480/agrmet.D-19-00013

    • NAID

      130007726236

    • ISSN
      0021-8588, 1881-0136
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Leaf Segmentation Based on k-Means Algorithm to Obtain Leaf Angle Distribution Using Terrestrial LiDAR2019

    • Author(s)
      Kuanting Kuo, Kenta Itakura, Fumiki Hosoi
    • Journal Title

      remote sensing

      Volume: 11 Issue: 21 Pages: 2536-2536

    • DOI

      10.3390/rs11212536

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 小型のドローンの自律走行による果実のカウントや樹木のモニタリング2021

    • Author(s)
      板倉健太、野秋収平、細井文樹
    • Organizer
      システム農学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Automatic tree detection from 3D images using image processing and machine learning2019

    • Author(s)
      Itakura K., Hosoi F
    • Organizer
      The Remote Sensing Society of Japan
    • Related Report
      2019 Annual Research Report
  • [Presentation] 次元点群処理や画像解析を用いた3 次元画像からの葉の自動認識および構造 解析2019

    • Author(s)
      板倉健太,細井文樹
    • Organizer
      システム農学会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 機械学習や3 次元点群処理を用いた3 次元画像からの樹木の自動検出2019

    • Author(s)
      板倉健太,細井文樹
    • Organizer
      生態工学会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 深層学習および拡散反射光を用いた豆腐の凝固状態 の分類2019

    • Author(s)
      板倉健太,斎藤嘉人,鈴木哲仁,近藤直,細井文
    • Organizer
      生態工学会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Tree trunk diameter and species estimation using a stereo camera, deep learning and image processing technique2019

    • Author(s)
      Itakura K, Hosoi F
    • Organizer
      workshop in conjunction with ICCV 2019, Multi-Discipline Approach for Learning Concepts-Zero-Shot, One-Shot, Few-Shot and Beyond
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Estimation of leaf inclination angle in three-dimensional plant images obtained from lidar2019

    • Author(s)
      Itakura K, Hosoi F
    • Organizer
      Paddy and Water Environment Engineering
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2019-05-29   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi