2022 Fiscal Year Annual Research Report
| Project/Area Number |
21H03466
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
大倉 史生 大阪大学, 大学院情報科学研究科, 准教授 (60754223)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | コンピュータビジョン / 植物フェノタイピング |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、遮蔽を含む植物の三次元形状復元および解析フレームワークの確立である。本研究では、多視点あるいは単一・少数視点からの遮蔽補完型三次元復元を、二次元・三次元の形状・テクスチャの欠損修復・復元の最適化問題として扱う。これを達成するため、本研究では「研究項目1：多視点植物画像からの枝葉の三次元構造復元」、「研究項目2：単一・少数画像からの三次元構造復元」および、これらの手法を時空間に拡張した「研究項目3：構造トラッキングに基づく時系列復元および応用」を核とした研究を実施する。いずれの項目も、CV分野において新規性の大きい内容である。
計画2年目である今年度は、「研究項目1：多視点植物画像からの枝葉の三次元構造復元」に関する本格的な実装に着手した。具体的には、多視点画像上でアモーダルセグメンテーションに基づく物体形状の修復（遮蔽補完）を行い、三次元空間中で統合するアプローチを取る。カメラ位置姿勢が既知であれば、多視点画像上で画像変換、画像修復、アモーダルセグメンテーション等を用いて欠損のない枝葉領域を推定し、これらを三次元空間中で統合することができる。このアイデアを実装し、シミュレーション画像および実画像で実験を行った。遮蔽補完を行わない手法と比較し、高精度な三次元復元を達成した。
今年度は、合わせて「研究項目3：構造トラッキングに基づく時系列復元および応用」の基礎検討を実施した。本研究で主たるターゲットとする栽培やフェノタイピング（表現型定量化）の実応用に三次元形状復元手法を展開する際、時系列データに基づき植物の成長過程を記述することが極めて有用である。これを実現するためには、異なる時期に取得された植物構造のトラッキングが必要となる。本研究では、植物構造の事前知識を用いた植物構造のトラッキングを提案することを目指し、具体的な実装方針を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の核である、多視点植物画像を入力とした遮蔽補完型三次元復元に、一定の有用性があることが示された。また、その拡張としての時系列トラッキングについても検討が進んでおり、研究計画に沿った進捗が挙げられていると判断する。
|
| Strategy for Future Research Activity |
来年度は、特に「研究項目2：単一・少数画像からの三次元構造復元」および「研究項目3：構造トラッキングに基づく時系列復元および応用」に関して、実際の環境で動く手法を構築することを目指す。
「研究項目2：単一・少数画像からの三次元構造復元」については、密な植物を撮影した単一画像から、一枚一枚の葉の姿勢を抽出できる手法を目指す。これは、果樹など、枝の観測がときに困難となるような植物に対する詳細な復元に寄与する。
「研究項目3：構造トラッキングに基づく時系列復元および応用」については、本課題で構築した植物撮影スタジオで取得された植物を対象とし、その成長を時系列的に追いかけられるような手法を目指す。
|
