2020 Fiscal Year Annual Research Report
Automatic analysis of spatial and temporal periodicity and modulation in plants based on image recognition
Publicly Offered Research
| Project Area | Intrinsic periodicity of cellular systems and its modulation as the driving force behind plant development |
|---|
| Project/Area Number |
20H05423
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
内海 ゆづ子 大阪府立大学, 工学(系)研究科(研究院), 講師 (80613489)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Keywords | 植物画像処理 / 花弁の順序推定 / メタ学習 / 画像合成 |
|---|
| Outline of Annual Research Achievements |
植物の空間的・時間的周期性はこれまで，目視による観測や計測により発見されている．しかし，人の観察能力には限界があるため，これらの発見された周期性は人の観測できる範囲内の現象のみである．一方，計算機の能力は年々向上しており，画像認識では，人の能力を凌駕するアルゴリズムも存在するようになってきた．
そこで，本研究では，画像認識技術を用いて植物の観測を自動化することで，これまで人の観測能力では得られなかった植物の周期性や変調の検出を目指す．具体的には，RGB-D 画像をもとに植物個体全体の形状を詳細に復元し，器官の識別を行うことで，植物全体形状における形態の空間的な周期性を検出する．また，植物の様子を一生に渡るスパンで撮影し，画像認識をもとに生育イベントを検出することで，時間的な生育イベント発生の周期性を検出・解析する．
2020年度は，コロナウイルス感染拡大の影響により，事前の計画であったRGB-D データの収集が困難となった．そのため，当初予定していたRGB-D データの解析が難しくなったことから，同じプロジェクト内の研究者との共同研究を進めた．その1つが，イチリンソウとその近隣種の花画像データを用いて，花弁の重なりの順序推定である．花弁の発生がどのように起こるかを調査するためには，花弁がどの順番で発生したかを調査する必要があるが，現在，その調査は目視で行われているため，観察者の負荷が大きい．そこで，本研究では，画像認識技術を用いて，花弁の重なり順の推定を実現した．順序推定の精度の向上のため，合成データによる学習データの増大と，メタ学習の導入による，花の見た目に応じた学習を導入したところ，順序推定の精度が11.8%向上した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2020年度はコロナウイルス感染拡大の影響で，自己でのRGB-D センサを用いた植物の計測が困難であった．そこで，プロジェクトのイチリンソウとその近隣種の花画像データを用いて，花弁の重なり順序の推定を行った．
イチリンソウとその近隣種は，花弁の発生順序や花弁の数が頻繁に変化することが知られており，この花弁の発生過程をモデル化することで，花の多様性がどのように起きているかを解明する手がかりとなる．モデルの検証には，実際の花弁の重なり順序から，花弁の発生順序を推定するのであるが，目視での作業は労働集約的である．そこで，本研究では，花の画像から画像処理をもとに花弁の重なり順序を推定することを目的とし，そのはじめの取組みとして，花弁の重なり部分の前後関係の推定を行った．
計測対象とするイチリンソウとその近縁種の花は，個体ごとに見た目が大きく異なるため，見た目が近い（均質な）画像を多量に集めにくい．このような多種少量データを用いる場合の対処法として，2 つの方策をとる．1 つ目はメタ学習の導入である．すなわち，多数の個体に共通の特徴をメタ学習時にあらかじめ求めておき，認識（メタテスト）時にはそれを初期値として，学習モデルを認識対象の個体に適応させる．2 つ目は，重なっていない花弁の画像から花弁の重なりを模した画像を合成して学習に用いることである．実験により，上記2 つの方策を用いる提案手法は，両方用いない場合に比べて，認識精度が11.8% 向上することを確認した．
このように，当初の計画とは異なるものの，成果が順調に出ているため，研究はおおむね順調に進展している．
|
| Strategy for Future Research Activity |
今回の花弁の重なり推定手法を用いて，入力されたイチリンソウの花画像から，花弁の重なり順を自動的に推定するシステムの構築を目指す．
また，今年度実施を予定していたRGB-D カメラを用いた植物の計測とアルゴリズムの作成について，今後進めていく予定である．まずデータの収集を行い，続いて，アルゴリズムの作成とデータの周期性の解析を行う．
|
