| Project/Area Number |
23K21680
|
|---|
| Project/Area Number (Other) |
21H03466 (2021-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2021-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
大倉 史生 大阪大学, 大学院情報科学研究科, 准教授 (60754223)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥15,990,000 (Direct Cost: ¥12,300,000、Indirect Cost: ¥3,690,000)
Fiscal Year 2024: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2023: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2022: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2021: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
|
|---|
| Keywords | コンピュータビジョン / 植物フェノタイピング / 三次元復元 / 遮蔽補完 |
|---|
| Outline of Research at the Start |
本研究は、単一あるいは複数の視点から撮影された画像群から、隠れた（遮蔽）部分も含む三次元形状を復元する、「遮蔽補完型三次元復元」の技術体系を構築する。遮蔽部の復元は本来、この世界の多くの場面の認識・理解に避けて通れない問題である。本研究で構築する手法は、対象物体の構造や類似性の事前知識に基づき、画像上・空間上の遮蔽領域を補完するように三次元形状を推定する、新たな三次元復元フレームワークとなる。
|
| Outline of Annual Research Achievements |
本研究の目的は、遮蔽を含む植物の三次元形状復元および解析フレームワークの確立である。本研究では、多視点あるいは単一・少数視点からの遮蔽補完型三次元復元を、二次元・三次元の形状・テクスチャの欠損修復・復元の最適化問題として扱う。これを達成するため、本研究では「研究項目1：多視点植物画像からの枝葉の三次元構造復元」、「研究項目2：単一・少数画像からの三次元構造復元」および、これらの手法を時空間に拡張した「研究項目3：構造トラッキングに基づく時系列復元および応用」を核とした研究を実施する。いずれの項目も、CV分野において新規性の大きい内容である。
計画2年目である今年度は、「研究項目1：多視点植物画像からの枝葉の三次元構造復元」に関する本格的な実装に着手した。具体的には、多視点画像上でアモーダルセグメンテーションに基づく物体形状の修復（遮蔽補完）を行い、三次元空間中で統合するアプローチを取る。カメラ位置姿勢が既知であれば、多視点画像上で画像変換、画像修復、アモーダルセグメンテーション等を用いて欠損のない枝葉領域を推定し、これらを三次元空間中で統合することができる。このアイデアを実装し、シミュレーション画像および実画像で実験を行った。遮蔽補完を行わない手法と比較し、高精度な三次元復元を達成した。
今年度は、合わせて「研究項目3：構造トラッキングに基づく時系列復元および応用」の基礎検討を実施した。本研究で主たるターゲットとする栽培やフェノタイピング（表現型定量化）の実応用に三次元形状復元手法を展開する際、時系列データに基づき植物の成長過程を記述することが極めて有用である。これを実現するためには、異なる時期に取得された植物構造のトラッキングが必要となる。本研究では、植物構造の事前知識を用いた植物構造のトラッキングを提案することを目指し、具体的な実装方針を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の核である、多視点植物画像を入力とした遮蔽補完型三次元復元に、一定の有用性があることが示された。また、その拡張としての時系列トラッキングについても検討が進んでおり、研究計画に沿った進捗が挙げられていると判断する。
|
| Strategy for Future Research Activity |
来年度は、特に「研究項目2：単一・少数画像からの三次元構造復元」および「研究項目3：構造トラッキングに基づく時系列復元および応用」に関して、実際の環境で動く手法を構築することを目指す。
「研究項目2：単一・少数画像からの三次元構造復元」については、密な植物を撮影した単一画像から、一枚一枚の葉の姿勢を抽出できる手法を目指す。これは、果樹など、枝の観測がときに困難となるような植物に対する詳細な復元に寄与する。
「研究項目3：構造トラッキングに基づく時系列復元および応用」については、本課題で構築した植物撮影スタジオで取得された植物を対象とし、その成長を時系列的に追いかけられるような手法を目指す。
|
Report
(2 results)
Research Products
(16 results)
