2022 Fiscal Year Annual Research Report
Analysis of peropdocity and its modulation in plant organs based on Image segmentation techniques
Publicly Offered Research
| Project Area | Intrinsic periodicity of cellular systems and its modulation as the driving force behind plant development |
|---|
| Project/Area Number |
22H04732
|
|---|
| Research Institution | Osaka Metropolitan University |
|---|
Principal Investigator |
内海 ゆづ子 大阪公立大学, 大学院情報学研究科, 講師 (80613489)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Keywords | 画像セグメンテーション / 深層学習 / 植物計測 / 植物画像処理 |
|---|
| Outline of Annual Research Achievements |
本応募課題では，植物学者などの，画像認識を専門としないユーザが手軽にセグメンテーション技術を利用することを目的として，画像セグメンテーション技術の開発を行った．令和4 年度は，インタラクティブなセグメンテーション手法に対する調査と，今後のインタラクティブ学習の実装を見据えて，花弁配置推定手法において，失敗した部分を修正可能なシステムを構築した．また，領域内での共同研究として，花のCT 画像の器官検出手法の開発・改善を実施した．
セグメンテーション手法の調査では，特定の種類の植物に対して，人が葉を点でアノテーションすることで個々の葉をセグメンテーションする手法や，事前に学習したモデルを用いて大まかにセグメンテーションをし，人手で修正をする手法が提案されていた．今後，これらを組み合わせることにより，どのような植物画像に対しても器官を検出する手法を模索する．
また，インタラクティブなセグメンテーションの実装に備えて，これまでに開発したイチリンソウとその近縁種の花の花弁配置推定手法を，人手で修正結果が推定可能なインタラクティブなシステムとして実装した．このシステムは，web ベースのアプリケーションで，花弁の重なり位置推定や花弁の重なり順序推定で失敗した場合に，マウス操作で修正が可能となっている．実験の結果，人手で修正すると，システムの推定精度が自動推定と比較して大幅に向上した．
花のCT 画像の器官検出では，キクタニギク，ツバキの器官検出をした．キクタニギクでは，小花の発生順序の解明を目的として，スライス画像の小花と花床の接点部分の検出をし，接点を3次元上に図示した．また，ツバキでは，スライス画像からの花弁の検出をした．花弁が密になっている領域を分割し，分割した部分にスペクトラルクラスタリングを適用した．このことで，これまで検出に失敗していた部分が検出可能となった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
新たなセグメンテーションの手法を開発するには至らなかったものの，セグメンテーション手法の調査により，植物画像の汎用的なセグメンテーション手法に向けて，現在の技術的な問題点を洗いだすことができた．また，花弁の配置推定のweb アプリケーションの実装により，人とのインタラクティブなシステムのフレームワークを作成した．これに汎用的なセグメンテーション手法を開発して組み込めば，目標の，インタラクティブに，簡単にセグメンテーションを実施することが可能なシステムを作成することができる．そのため，来年度で当初の研究の目標が達成できると見込んでいる．
これに加えて，昨年度は，領域内の共同研究として，花のCT 画像のセグメンテーションにも取り組んだ．このセグメンテーションで得られた知見は，今後開発する汎用的なセグメンテーションシステムに大いに役立つことになると考えられる．そのため，研究が当初の計画通りには進んではいないが，来年度に目標を達成する見通しが立っていることから，研究が概ね順調に進んでいるといえる．
|
| Strategy for Future Research Activity |
今年度は，植物学研究者がセグメンテーション手法を簡単に利用できるようにするため，手法をwebアプリケーションとして実装する．このアプリケーションでは，ユーザが画像をアップロードすると，器官がセグメンテーションされた結果を表示する．ただし，全ての植物画像データに汎用的なセグメンテーションは困難であることから，出力結果の精度は不十分ではない．そこで，ユーザが誤り部分を修正し，このデータを使って再度学習を行うことで精度の向上を図る機能を実装する．そして，修正機能の利用によって，精度がどの程度向上するか確認する．修正機能によって精度が思うように向上しない場合は，ユーザの修正データをもとにCG や画像生成技術を使ってデータを水増しし，これらを追加して学習してセグメンテーションの精度向上を図る．また，ユーザが誤りを修正したデータを追加して学習した際に，破壊的忘却が発生して精度が低下する場合，メタ学習のアルゴリズムを取り入れて，入力画像に合わせた検出ができるように変更する．
アプリケーションは，研究領域内の研究者に利用してもらい，利用後のフィードバックをもとにインターフェースの改善をする．また，セグメンテーション結果に十分な精度が見込めることが分かり次第，一般に向けて公開する．
これに加えて，共同研究では，昨年度までに検出した器官の空間的配置や形状の周期性・変調の様子を解析する．昨年度に引き続き，キクタニギクとツバキのCT画像を対象とし，検出された器官を３次元的に表示し，空間的な配置や概形を推定する．この推定結果をもとに，空間的な器官の並びに対しては回帰によるモデル当てはめ，形状に関しては楕円フーリエ変換などの手法を用いて解析する．そして，器官の並びや形状に関する周期性や変調の様子を明らかにする．
|
Research Products
(4 results)
