2019 Fiscal Year Research-status Report
画像を用いた学習に基づく屋外植物の形態計測手法の開発
| Project/Area Number |
18K18074
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
内海 ゆづ子 大阪府立大学, 工学(系)研究科(研究院), 助教 (80613489)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 植物計測 / 単子葉植物 / 分げつ / 深層学習 / Pretext task |
|---|
| Outline of Annual Research Achievements |
本研究では，学習に基づいて屋外の植物の3 次元形状を画像から推定し，その結果をもとに植物の形態情報（形状，サイズなどの外見的特徴）を解析・抽出する手法を開発する．農学では，育種を目的として，植物の計上を詳細に計測する必要性が高まっている．しかし，計測は人手に頼っており，大きな労力と時間がかかるため，研究のボトルネックとなっている．そこで，本研究では，形態計測の作業負荷軽減と計測可能な形態情報を増やすことを目的とし，画像による植物の形態計測手法の開発を行う．
2018年度は，植物の形態情報のうち，単子葉植物の枝分かれである分げつ数を画像より推定する手法を確立した．しかし，2018年度での実験では，実験データの画像のスケールが均一ではなく植物の大きさによって変化していたり，背景が変化したりするなど，植物の形状の違い以外にも分げつ数を予測できる手がかりが画像中にあった．そのため，この実験データ以外のデータを用いた場合，うまく分げつが推定できない可能性があった．そこで，実験データから植物の形状以外で推定の手がかりになるような画像スケールの違いや背景の違いを取り除いた状態で，Pretext task を用いた分げつ数の推定手法を適用し，推定結果の評価を行った．また，識別器のパラメータ調整や，pretext task で学習するネットワークを昨年までのVGG 16 に加えて，ResNet50 も用いて推定を行い，提案手法の評価を行った．
実験の結果，実験データを正規化した場合でも，昨年度よりも推定結果が平均絶対誤差で2.5%改善した．また，VGG とResNet50 を用いた場合，VGG を用いた方が推定精度が高いということが明らかとなった．
今後，学習結果を可視化し，植物のどの部分が分げつ推定に用いられていたのかを解析する．また，屋外で撮影された単子葉植物画像に本手法を適用する．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
昨年度開発したPretext task を用いた分げつ数推定手法では，評価に用いたデータに問題があった．具体的には，植物の大きさによって画像のスケールが異なっていたり，背景に違いがあったりするなどである．そのため，開発した手法は，植物そのものの形状ではなく，これらの違いもとに分げつ数の推定をしている可能性が否定できなかった．
そこで本年度は，評価に用いた画像データの背景とスケールを統一し，植物の形状以外では分げつ数を推定できないよう画像データの正規化を行った．そして，この正規化したデータを用いて，昨年度に開発した分げつ数推定法の評価を再度行った．そのため，進捗状況としてはやや遅れている．
分げつ数の推定の再評価に加えて，識別器に用いたSupport Vector Regression のパラメータの調整を行ったり，Pretext task で学習するネットワークに他のネットワークを用いるなど，提案手法の性能を評価する実験をした．Support Vector Regression のパラメータ調整では，カーネルの違いや変更できるパラメータの調整を，精度をもとに行った．また，Pretext task で学習するネットワークには，従来用いていたVGG だけでなく，代表的な畳み込みニューラルネットワークの1つであるResNet50を用いて評価を行った．
評価の結果，正規化したデータを用いて評価した場合でも，昨年度よりも推定結果が平均絶対誤差で2.5%改善した．このことから，提案手法では，植物の形状をもとに分げつ数の推定を行うことができることが示せた．また，植物形状のみから分げつ数の推定を行えることから，本研究で用いたデータ以外でも，分げつの推定が可能であることが示せた．ネットワークの評価では，VGG の方がResNet50 よりもより高精度な特徴量を抽出可能であことが明らかとなった．
|
| Strategy for Future Research Activity |
今後は，この分げつ数推定手法を屋外で撮影された画像に対して適用することで，屋外での形態計測手法の実現を行う．しかし，開発した分げつ推定手法を屋外で撮影された画像にそのまま適用することは難しい．なぜなら，これまで評価に用いて来たデータと屋外で撮影された画像は大きく異なっているからである．評価に用いて来た画像データは，屋内で人手により照明環境が制御され，1枚の画像に1つの植物が入るように撮影されたものであった．そのため，背景とスケールを統一する正規化以外には特に前処理は行わずに分げつの推定が可能であった．一方，屋外で撮影された植物では，1枚の画像に植物が数株入っているうえ，背景も複雑である．
そこで，開発した分げつ数推定手法を適用するために，まず，画像中から1株ごとに切り出しをし，背景の影響を取り除くため，植物領域のみを切り出す作業が必要となる．これらに関しては，対象物体を画素値単位で識別するsemantic segmentation を応用することで，1株ごとの切り出しや植物領域の切り出しを行う．また，semantic segmentation にはラベル付けされた画像を用いての学習が必要になる事から，これらを回避できるようなpretext task を考案し，できるだけラベル付けの作業を最小にした手法を考案する．そして，植物の領域を切り出した画像に対して提案手法を適用し，分げつ数推定評価を行う．
|
| Causes of Carryover |
進捗状況が遅れたため，研究成果の論文投稿が来年度となった．そのために，論文の掲載料として利用を予定している．また，屋外で撮影されたデータを用いた実験を行う際の，計算機の購入，また，ラベル付け作業を業者に委託する際の料金として利用予定である．
|
