Development of automatic annotation technique by using plant biological information images

• Project/Area Number: 22K14970
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 41040:Agricultural environmental engineering and agricultural information engineering-related
• Research Institution: Toyohashi University of Technology
• Principal Investigator: 戸田 清太郎 豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (60893104)
• Project Period (FY): 2022-04-01 – 2024-03-31
• Project Status: Discontinued (Fiscal Year 2023)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2022: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
• Keywords: 植物生体情報計測 / 自動アノテーション / クロロフィル蛍光画像計測 / ディープラーニング / 物体検出 / 茎伸長計測

Outline of Research at the Start

深層学習における教師データの生成(アノテーション)は，一般的に人手で行われるがそのコストが膨大であることが解決すべき課題としてある。
他方，アノテーションする際，人間は検出対象物を形状や色に基づいて範囲選択する。植物が検出対象である場合も，その形状や色に基づいてアノテーションするが，それら以外にも植物特有または植物の器官毎に異なる生理現象を画像計測することで，検出対象物を植物生理に基づいて範囲選択できる可能性がある。
そこで，植物の生体情報画像計測を行い，形状や色以外にも植物の生理現象を用いてアノテーションを効率化，自動化する手法を開発する。

Outline of Annual Research Achievements

本研究では、深層学習における教師データの生成(アノテーション)にかかる時間的、労力的コストを解決すべく農学的知見を用いた解決方法を開発する。具体的には、植物生体情報画像を用いることで、アノテーションを効率化、自動化する手法を開発することを目的とする。
本研究の成果として、日単位茎伸長計測に活用可能な汎用的植物茎頂検出モデルを開発した。これは、列状に栽培されているトマト個体群を水平方向にスキャンして得られたクロロフィル蛍光動画に対し、植物体高さの分布を解析することで自動アノテーションを行うものである。自動アノテーションの結果得られた教師画像は215枚であり、その精度はPrecision 0.75、Recall 0.75、F-measure 0.75であった。得られた教師画像で訓練した茎頂検出モデルの精度はPrecision 0.97、Recall 0.96、F-measure 0.96であった。他方、手動でアノテーションした教師画像272枚を用いて訓練した茎頂検出モデルの精度はPrecision 1.00、Recall 0.99、F-measure 0.99であった。この結果により，開発した自動アノテーション手法によってトマト個体群の手動アノテーションを代替可能であることが示唆された。

Research Products

• [Journal Article] Smartphone-based strawberry plant growth monitoring using YOLO (2023)
  • Author(s): S. Toda, T. Sakamoto, Y. Imai, R. Maruko, T. Kanoh, N. Fujiuchi, K. Takayama
  • Journal Title: Acta Horticalturae Volume: -
  • Peer Reviewed
• [Journal Article] Practical use of Deep Learning-Based Daily Stem Elongation Measurement of Tomato Plants in Two Commercial Greenhouses (2022)
  • Author(s): S. Toda, T. Higuchi, T. Kanoh, T. Sakamoto, N.Fujiuchi, K. Takayama
  • Journal Title: IFAC-PapersOnLine Volume: 55(32) Issue: 32 Pages: 113-118
  • DOI: 10.1016/j.ifacol.2022.11.124
  • Peer Reviewed / Open Access
• [Journal Article] Daily Measurement of Strawberry Flowers and Fruits by Using YOLO (2022)
  • Author(s): Seitaro Toda, Yuya Imai, Takeru Kanoh, Tetsutaka Sakamoto, Naomichi Fujiuchi, Kotaro Takayama
  • Journal Title: CIGR The XX CIGR World Congress 2022 Volume: -
• [Presentation] 生育状態の概要把握を目的としたトマト個体群パノラマ画像の要約手法の提案 (2022)
  • Author(s): 田内 楓, 戸田 清太郎, 加納 多佳留, 藤内 直道, 高山 弘太郎
  • Organizer: 農業情報学会2022年度年次大会
• [Presentation] イチゴ検出モデルの適用可能圃場・品種拡大のための効率的学習方法の検討 (2022)
  • Author(s): 戸田清太郎, 丸小凌我, 坂本哲隆, 藤内直道, 高山弘太郎
  • Organizer: 農業情報学会2022年度年次大会
• [Presentation] つり下げ型画像計測ロボットを用いたイチゴ個体群の日単位葉量計測 (2022)
  • Author(s): 今井裕也, 戸田清太郎, 坂本哲隆, 加納多佳留, 高山弘太郎
  • Organizer: 農業情報学会2022年度年次大会
• [Presentation] イメージセンシングによる農作物の生育状態把握 (2022)
  • Author(s): 戸田清太郎
  • Organizer: OPERAマルチモーダルセンシング共創コンソーシアム 2022年度全体会議
  • Invited
• [Presentation] Smartphone-based strawberry plant growth monitoring using YOLO (2022)
  • Author(s): S. Toda, T. Sakamoto, Y. Imai, R. Maruko, T. Kanoh, N. Fujiuchi, K. Takayama
  • Organizer: International Horticultural Congress (IHC) 2022
  • Int'l Joint Research
• [Presentation] ディープラーニングを用いたイチゴ個体群の栄養-生殖成長の評価 (2022)
  • Author(s): 今井裕也, 戸田清太郎, 坂本哲隆, 加納多佳留, 高山弘太郎
  • Organizer: 日本生物環境工学会2022年福岡大会
• [Presentation] つり下げ型画像計測ロボットによる温室栽培キュウリの高精度生育評価 (2022)
  • Author(s): 戸田清太郎, 松岡宏樹, 坂本哲隆, 加納多佳留, 大場佳成, 秋月拓磨, 高山弘太郎
  • Organizer: 日本生物環境工学会2022年福岡大会
• [Presentation] ディープラーニングを用いた観葉植物の形状評価 (2022)
  • Author(s): 戸田清太郎, 戸田多哉, 坂本哲隆, 加納多佳留, 大場佳成, 秋月拓磨, 高山弘太郎
  • Organizer: 日本生物環境工学会2022年福岡大会
• [Presentation] ディープラーニングを活用したトマト個体群の栄養-生殖成長の評価 (2022)
  • Author(s): 戸田清太郎, 田内楓, 樋口達哉, 坂本哲隆, 加納多佳留, 藤内直道, 高山弘太郎
  • Organizer: 日本生物環境工学会2022年福岡大会
• [Presentation] Practical use of Deep Learning-Based Daily Stem Elongation Measurement of Tomato Plants in Two Commercial Greenhouses (2022)
  • Author(s): S. Toda, T. Higuchi, T. Kanoh, T. Sakamoto, N. Fujiuchi, K. Takayama
  • Organizer: IFAC Agricontrol 2022
  • Int'l Joint Research
• [Presentation] 植物生体情報に基づいた自動アノテーション手法の開発 (2022)
  • Author(s): 古田友木, 戸田清太郎, 高山弘太郎
  • Organizer: 2022 年度日本生物環境工学会東海・北信越支部合同支部大会
• [Presentation] YOLOv5を用いた観葉植物の輪郭抽出 (2022)
  • Author(s): 戸田多哉, 戸田清太郎, 高山弘太郎
  • Organizer: 2022 年度日本生物環境工学会東海・北信越支部合同支部大会
• [Presentation] Daily Measurement of Strawberry Flowers and Fruits by Using YOLO (2022)
  • Author(s): Seitaro Toda, Yuya Imai, Takeru Kanoh, Tetsutaka Sakamoto, Naomichi Fujiuchi, Kotaro Takayama
  • Organizer: CIGR The XX CIGR World Congress 2022
  • Int'l Joint Research