Estimation of water stress of plant by deep learning of leaf images

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K06328
• Research Institution: Toin University of Yokohama
• Principal Investigator: 佐野 元昭 桐蔭横浜大学, 医用工学部, 教授 (90206003)
• Co-Investigator(Kenkyū-buntansha): 杉本 恒美 桐蔭横浜大学, 工学研究科, 教授 (80257427)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 植物の水ストレス / 葉の固有振動数 / Webカメラ / 深層学習 / 最適灌水制御

Outline of Annual Research Achievements

植物の水ストレスの推定法として、我々は葉の固有振動に着目しており、小松菜において、①固有振動数は日周変化をすること、②それは日中増加し夜間減少すること、③水ストレスを受けると日中の固有振動数が減少することをこれまで示してきた。
また我々は、減衰振動させた葉をWebカメラで撮影し、相関追尾により振動を計測しているが、この場合、追尾の特徴点が必要なため自動化が困難であった。そこで、画像を矩形領域に分割し、各領域の明暗変化から、葉の減衰振動を調べる方法を提案したが、どの矩形領域の減衰振動を採用すべきか判定する必要があった。そこで本研究では、その判定に深層学習を用いることを検討した。また葉の映像から直接的に葉のしおれが学習できないかについても検討した。
昨年度は、開発環境としてNeural Network Consoleを導入し、インターネット等で集めた様々なトマトの葉の画像を用いて、CNN（Convolutional Neural Network）を用いて深層学習を行ったが、今年度も引き続き、葉のしおれを学習させるためのデータセットを増やしながら、使用するCNNの構造やパラメタを、試行錯誤しながら調べた。また、CNNを用いた固有振動の判定も引き続き検討し、葉の振動の計測システムを改良した。
ただし、Neural Network Consoleの開発環境ではソースコードを取得することができないので、これをシステムに組み込むための準備として、今年度はソースコードの作成をはじめた。
使用言語としてC++にするかPythonにするかを検討しており、また環境としてそのどちらにも対応できるPyTorchを考えており、その準備を行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

対面での研究が自由に行えなかったこともあり、研究成果として発表できる内容には至らなかったが、実験用の小松菜の育成は順調に行われており、また、葉の計測システムの改良も進んだ。
計測システムへのCNNの組み込みについては、やや遅れ気味ではあるが、それ以外の部分は、現在の状況においては概ね順調と考えている。

Strategy for Future Research Activity

PyTorchを用いて、これまでに検討してきたCNNをPythonまたはC++でコード化し、葉の計測システムに組み込み、葉のしおれ判定がうまく行えるか検証する。

Causes of Carryover

CNNのコード作成等ソフトウェア関係の内容が多く、物品等の購入が殆どなかったため、その分の予算が未使用になった。次年度は、システムの検証実験を予定しており、その経費に充てる。