Classifying vegetation using deep learning: clarification of characteristics of vegetation

• Project/Area Number: 18H03357
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 63010:Environmental dynamic analysis-related
• Research Institution: Kyoto University
• Principal Investigator: 伊勢 武史 京都大学, フィールド科学教育研究センター, 准教授 (00518318)
• Co-Investigator(Kenkyū-buntansha): 佐藤 永 国立研究開発法人海洋研究開発機構, 地球環境部門(北極環境変動総合研究センター), 研究員 (50392965) ; 渡部 俊太郎 京都大学, フィールド科学教育研究センター, 研究員 (00782335)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Project Status: Granted (Fiscal Year 2021)
• Budget Amount: ¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000); Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2020: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000); Fiscal Year 2019: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000); Fiscal Year 2018: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
• Keywords: 深層学習 / 自動識別 / リモートセンシング / コンピュータビジョン / 外来種

Outline of Annual Research Achievements

画像の自動識別などの情報科学分野で素晴らしい性能を誇るディープラーニングだが、植物の自動識別への応用はむずかしいとされてきた。しかし本研究では、発想の転換に基づく新技術を用いることで植物へのディープラーニングの応用と自動識別が可能であることを実証し、その成果は我々が直面している環境問題の現状把握にすぐにでも役立つことを示す。挑戦性ともに高いテーマだが、すでにコケ植物に対する研究代表者の先行研究では、種ごとの「植物らしさ」の自動識別が可能であることが示されており、その結果は国際的に注目されている。本研究は多様な植物の判別に用いることのできる普遍性を持った自動識別を実現するため、後述のchopped picture method（こま切れ画像法）の大規模な適用を行う。本研究はディープラーニングの新技術開発を加速し、その応用の遅れていた環境諸学・生態学・林学などの分野での発展が期待できる。

2019年度後半に、新型コロナウイルス感染拡大の影響で研究進捗に遅れが発生した。部分的に研究業務を2020年度に繰り越しした。2020年度も研究に適したGPUの入手は困難な状況の継続が予想されたため研究手法を一部変更し、手作業でアノテーション作業を行う業務の補助を遂行する派遣職員を雇用することで、業務を実施した。これにより、フィールド撮影動画から切り出される大量の静止画に対するアノテーションというマンパワーを要する業務が実施できた。オオキンケイギクやセイタカアワダチソウなど外来種の分布把握という目的の達成について前進がみられた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

植物を認識する人工知能システム開発のため、教師画像の取得と加工を専門に行う派遣職員が集中して作業を行うことで、予定された業務を遂行できた。

Strategy for Future Research Activity

現在実装および改良が進行中の人工知能システムのパフォーマンス評価を行うとともに、シチズンサイエンス実現のためのコミュニケーションプラットフォームを構築する。

Research Products

• [Journal Article] マクロ生物学分野における画像認識・識別技術の利用 (2021)
  • Author(s): 渡部俊太郎、伊勢武史
  • Journal Title: 画像ラボ Volume: 1
• [Journal Article] Explainable identification and mapping of trees using UAV RGB image and deep learning (2021)
  • Author(s): Onishi Masanori、Ise Takeshi
  • Journal Title: scientific reports Volume: 11
  • DOI: 10.1038/s41598-020-79653-9
  • Peer Reviewed / Open Access
• [Journal Article] VARENN: graphical representation of periodic data and application to climate studies (2020)
  • Author(s): Ise Takeshi、Oba Yurika
  • Journal Title: npj Climate and Atmospheric Science Volume: 3
  • DOI: 10.1038/s41612-020-0129-x
  • NAID: 120006875255
  • Peer Reviewed / Open Access
• [Journal Article] Explainable Deep Learning Reproduces a ‘Professional Eye’ on the Diagnosis of Internal Disorders in Persimmon Fruit (2020)
  • Author(s): Akagi Takashi、Onishi Masanori、Masuda Kanae、Kuroki Ryohei、Baba Kohei、Takeshita Kouki、Suzuki Tetsuya、Niikawa Takeshi、Uchida Seiichi、Ise Takeshi
  • Journal Title: plant & cell physiology Volume: 61 Pages: 1967-1973
  • DOI: 10.1093/pcp/pcaa111
  • Peer Reviewed
• [Journal Article] Identifying the vegetation type in Google Earth images using a convolutional neural network: a case study for Japanese bamboo forests (2020)
  • Author(s): Watanabe Shuntaro、Sumi Kazuaki、Ise Takeshi
  • Journal Title: BMC Ecology Volume: 20
  • DOI: 10.1186/s12898-020-00331-5
  • Peer Reviewed / Open Access
• [Journal Article] Applying deep learning in ecology: identifying vegetation and plant species (2020)
  • Author(s): 渡部俊太郎、大西信徳、皆川まり、伊勢武史
  • Journal Title: JJCE Volume: 1822 Issue: 1 Pages: 1-14
  • DOI: 10.18960/hozen.1822
  • NAID: 130007866089
  • ISSN: 1342-4327, 2424-1431
  • Peer Reviewed / Open Access
• [Presentation] ディープラーニングを用いたセイタカアワダチソウの自動識別 (2021)
  • Author(s): 高屋浩介, 家島輝, 芝田篤紀, 伊勢武史
  • Organizer: 日本生態学会
• [Presentation] シチズンサイエンスによる環境データ取得と社会発信 (2021)
  • Author(s): 伊勢武史
  • Organizer: 日本生態学会
• [Presentation] ドローンとディープラーニングを用いたボルネオでの指標樹種識別と森林健全度評価 (2021)
  • Author(s): 大西 信徳、竹重 龍一、青柳 亮太、今井 伸夫、伊勢 武史、北山 兼弘
  • Organizer: 日本生態学会
• [Presentation] 自然を知り環境を守るための新技術・新発想 (2021)
  • Author(s): 伊勢武史
  • Organizer: 日本生態学会
• [Presentation] Estimating the species level leaf phenology patterns of broad leaved deciduous tree using data assimilation. (2020)
  • Author(s): Shuntaro Watanabe, Shigeki Ikeda, Kazuhito Ichii, Takeshi Ise
  • Organizer: 日本生態学会
• [Presentation] 畳み込みニューラルネットワークによる衛星写真中の植生識別 (2019)
  • Author(s): 渡部俊太郎、伊勢武史
  • Organizer: 種生物学会シンポジウム2019
• [Presentation] Forecasting the species specific leaf out phenology in Japan archipelago. Data assimilation approach (2019)
  • Author(s): Shuntaro Watanabe
  • Organizer: マクロ生物学百花繚乱2019
• [Presentation] 畳み込みニューラルネットワークによる航空写真中の植生識別とその応用 (2019)
  • Author(s): 渡部 俊太郎、角 和暁、伊勢 武史
  • Organizer: 日本地球惑星科学連合2019年大会