2018 Fiscal Year Research-status Report
画像を用いた学習に基づく屋外植物の形態計測手法の開発
| Project/Area Number |
18K18074
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
内海 ゆづ子 大阪府立大学, 工学(系)研究科(研究院), 助教 (80613489)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | 植物形態計測 / 画像処理 / 深層学習 / 分げつ / Pretext task / Pre-traiend model |
|---|
| Outline of Annual Research Achievements |
本研究では，植物の形態（形状，サイズなどの外見的特徴）計測の自動化を目的として，学習に基づいて屋外の植物の3次元形状を画像から推定し，その結果をもとに植物の形態情報を解析・抽出する手法を開発する．当初は，画像からの3次元形状推定のため，画像を入力とし，その画像の３次元の様子を表す点群を出力とする推定器を構築する予定であった．しかし，推定器の学習データ作成のため，レーザレンジセンサにより植物を計測したが，茎などの細い部分の計測は難しく，正解の３次元データが取得できなかった．そこで，３次元データを介さず，植物を撮影した画像のみから植物の形態を推定する手法を開発することにした．
2018年度は，単子葉植物の枝分かれの数を表す分げつという形態データに着目し，横から植物を撮影した１枚の画像から，分げつ数を推定した．分げつ数は，植物の破壊が可能であれば，枝分かれの数を直接調べられるが，非破壊の場合は葉の数を数えることで推定する必要がある．生育段階の初期に出た葉は生育が進むと枯れることから，非破壊で分げつ数を推定しようとした場合，生育の初期段階から葉を数え上げる必要があり，非常に労働集約的である．このため，植物の画像とその分げつ数のデータの収集は難しく，分げつ数の推定に対して，近年画像処理での多くの成功を収めており，最も高精度な推定が期待できる深層学習をこの問題に用いることは非常に難しい．そこで，本研究では，分げつ数の推定に対して，学習データが少ない場合であっても深層学習を適用できるpretext task やpre-trained modelを利用して，単子葉植物の分げつ推定を行った．その結果，従来の手法と比較して精度を向上させた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初，2018年度は植物の３次元復元を行う予定であった．しかし，植物の３次元形状の正解データを得ることが難しかったため，３次元形状推定器の作成を断念し，画像のみから形態情報を推定するよう，方針を転換した．データを計測し，3次元の正解データの作成が困難であると判明したのが2018年度初期であったことから，方針の転換がすぐに行えた上，画像から形態情報を直接求めることとなり，一部ではあるものの，2019年度に予定していた形態情報の抽出を既に行えるようになった．また，提案した手法も従来手法よりもよりよい精度を達成することができたため，研究はおおむね順調に進んでいる．
|
| Strategy for Future Research Activity |
当初の予定である3次元復元は断念したものの，画像から直接形態情報を推定することが可能となったこともあり，今後も画像から形態情報を推定することとする．推定する形態情報としては，葉の数や草の形状など，煩雑で人手では計測が困難であったり，人により表現や評価が変化するものを中心として，画像から自動で形態情報が推定できるよう，深層学習や画像処理の技術を用いて計測をする．
また，2018年度に扱ったデータは，屋内環境で照明環境が制御された状態で撮影された植物であったため，屋外で撮影された画像でも同様に推定が可能かは不明である．本研究の最終的な目的は，屋外環境下で植物の形態情報を自動的に推定することである．そこで，2019年度は，屋外で撮影された画像に対しても分げつ数が推定できるよう，データの追加や手法の改善を行っていく．
|
| Causes of Carryover |
2018年度は，当初の計画では画像からの植物の3次元形状推定を行う予定であったが，それに必要な3次元データの計測が困難であったため，3次元形状推定は断念した．そのため，3次元計測データの整理やラベル付けのために人件費を確保していたが，それらを利用しなくなった．そのため，当初の予定から人件費分が余る形で次年度発生額が生じた．2019年度では，屋外データに対する手法の適用などで，人件費を利用したり，研究成果発表のための旅費としてこれらを利用する予定である．
|
