植物フェノタイピングのための遮蔽補完型三次元復元

• Project/Area Number: 23K21680
• Project/Area Number (Other): 21H03466 (2021-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2021-2023)
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Osaka University
• Principal Investigator: 大倉 史生 大阪大学, 大学院情報科学研究科, 准教授 (60754223)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥15,990,000 (Direct Cost: ¥12,300,000、Indirect Cost: ¥3,690,000); Fiscal Year 2024: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2023: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2022: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2021: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
• Keywords: コンピュータビジョン / 植物フェノタイピング / 三次元復元 / 遮蔽補完

Outline of Research at the Start

本研究は、単一あるいは複数の視点から撮影された画像群から、隠れた（遮蔽）部分も含む三次元形状を復元する、「遮蔽補完型三次元復元」の技術体系を構築する。遮蔽部の復元は本来、この世界の多くの場面の認識・理解に避けて通れない問題である。本研究で構築する手法は、対象物体の構造や類似性の事前知識に基づき、画像上・空間上の遮蔽領域を補完するように三次元形状を推定する、新たな三次元復元フレームワークとなる。

Outline of Annual Research Achievements

本研究の目的は、遮蔽を含む植物の三次元形状復元および解析フレームワークの確立である。本研究では、多視点あるいは単一・少数視点からの遮蔽補完型三次元復元を、二次元・三次元の形状・テクスチャの欠損修復・復元の最適化問題として扱う。これを達成するため、本研究では「研究項目1：多視点植物画像からの枝葉の三次元構造復元」、「研究項目2：単一・少数画像からの三次元構造復元」および、これらの手法を時空間に拡張した「研究項目3：構造トラッキングに基づく時系列復元および応用」を核とした研究を実施する。いずれの項目も、CV分野において新規性の大きい内容である。

計画3年目である今年度は、前年度に構築された「研究項目1：多視点植物画像からの枝葉の三次元構造復元」に関する技術のさらなる発展として、遮蔽補完手法の改善に着手した。具体的には、深層学習を用いる遮蔽補完手法を改善し、学習データの収集が不要、あるいはごく少数の学習データのみを用いる手法を開発中である。
また、「研究項目2：単一・少数画像からの三次元構造復元」に関し、単一画像からの植物の枝構造推定手法を開発した。具体的には、植物の枝をグラフ構造とみなし、入力画像から深層学習を用いてグラフ構造を推定することで、従来の手法と比較して正確な枝構造推定を実現した。
さらに、前年度における「研究項目3：構造トラッキングに基づく時系列復元および応用」の基礎検討を発展する形で、今年度は構造トラッキングに基づく時系列復元手法を実装し、実栽培品種に対する実験を行った。結果、実際の植物フェノタイピングタスクにおいて実用性の高い手法が構築できたことを確認した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

前年度までに、本研究の核である、多視点植物画像を入力とした遮蔽補完型三次元復元に、一定の有用性があることが示されている。また、その拡張としての時系列トラッキングについても、実際の植物フェノタイピング現場への応用を開始している。

Strategy for Future Research Activity

計画最終年度である来年度は、特に「研究項目2：単一・少数画像からの三次元構造復元」および「研究項目3：構造トラッキングに基づく時系列復元および応用」に関して、実際のフェノタイピング現場への応用を進める。
特に、「研究項目2：単一・少数画像からの三次元構造復元」については、単一あるいは少数画像から推定された枝構造や葉の位置などを、軽量なデバイスで推定できるような手法について検討を実施する。
また、「研究項目3：構造トラッキングに基づく時系列復元および応用」については、本課題で構築した手法を継続的に発展・応用し、植物科学に寄与する知見の創出を目指す。

Research Products

• [Journal Article] Accuracy Evaluation and Prediction of Single-Image Camera Calibration (2023)
  • Author(s): Kikkawa Susumu、Okura Fumio、Muramatsu Daigo、Yagi Yasushi、Saito Hideo
  • Journal Title: IEEE Access Volume: 11 Pages: 19312-19323
  • DOI: 10.1109/access.2023.3244212
  • Peer Reviewed / Open Access
• [Journal Article] Exploring the mechanical and morphological rationality of tree branch structure based on 3D point cloud analysis and the finite element method (2022)
  • Author(s): Tsugawa Satoru、Teratsuji Kaname、Okura Fumio、Noshita Koji、Tateno Masaki、Zhang Jingyao、Demura Taku
  • Journal Title: Scientific Reports Volume: 12 Issue: 1 Pages: 1-11
  • DOI: 10.1038/s41598-022-08030-5
  • Peer Reviewed / Open Access
• [Journal Article] Multispectral Photometric Stereo for Spatially-Varying Spectral Reflectances (2022)
  • Author(s): Heng Guo, Fumio Okura, Boxin Shi, Takuya Funatomi, Yasuhiro Mukaigawa, and Yasuyuki Matsushita
  • Journal Title: International Journal of Computer Vision (IJCV) Volume: 130 Issue: 9 Pages: 2166-2183
  • DOI: 10.1007/s11263-022-01634-4
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] 3D modeling and reconstruction of plants and trees: A cross-cutting review across computer graphics, vision, and plant phenotyping (2022)
  • Author(s): Okura Fumio
  • Journal Title: Breeding Science Volume: 72 Issue: 1 Pages: 31-47
  • DOI: 10.1270/jsbbs.21074
  • NAID: 130008154354
  • ISSN: 1344-7610, 1347-3735
  • Peer Reviewed / Open Access
• [Journal Article] Detecting Lower MMSE Scores in Older Adults Using Cross-Trial Features From a Dual-Task With Gait and Arithmetic (2021)
  • Author(s): Wu Shuqiong、Matsuura Taku、Okura Fumio、Makihara Yasushi、Zhou Chengju、Aoki Kota、Mitsugami Ikuhisa、Yagi Yasushi
  • Journal Title: IEEE Access Volume: 9 Pages: 150268-150282
  • DOI: 10.1109/access.2021.3126067
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] 微分可能レンダリングを用いた実植物の構造トラッキング (2023)
  • Author(s): 宮川 稜平, 山藤 浩明, 大倉 史生, 松下 康之
  • Organizer: 第26回 画像の認識・理解シンポジウム（MIRU2023）
• [Presentation] 樹木位置を用いた地上・空中撮影点群間の位置合わせ (2023)
  • Author(s): 渡邊 純平, 山藤 浩明, 大倉 史生, 松下 康之
  • Organizer: 第26回 画像の認識・理解シンポジウム（MIRU2023）
• [Presentation] TreeFormer: Hard-constrained Image-to-graph Generation (2023)
  • Author(s): Xinpeng Liu, Hiroaki Santo, Yosuke Toda, Fumio Okura
  • Organizer: 第26回 画像の認識・理解シンポジウム（MIRU2023）
• [Presentation] Fine-grained Facial Image Manipulation via Latent Space Decomposition (2023)
  • Author(s): Weng Ian Chan, Xu Cao, Hiroaki Santo, Fumio Okura
  • Organizer: 第26回 画像の認識・理解シンポジウム（MIRU2023）
• [Presentation] 画像変換を使用した単一肖像画からの3次元形状推定 (2022)
  • Author(s): 淺田 直輝, 山藤 浩明, 大倉 史生, 松下 康之
  • Organizer: 第25回 画像の認識・理解シンポジウム（MIRU2022）
• [Presentation] ラベル付けされていないRGB-D画像を用いた点群セマンティックセグメンテーションの高精度化 (2022)
  • Author(s): 鳴本 拓人, 山藤 浩明, 大倉 史生, 松下 康之
  • Organizer: 第25回 画像の認識・理解シンポジウム（MIRU2022）
• [Presentation] 多重解像度視差統合によるステレオマッチングの高精度化 (2022)
  • Author(s): 福井 界人, 山藤 浩明, 大倉 史生, 松下 康之
  • Organizer: 第25回 画像の認識・理解シンポジウム（MIRU2022）
• [Presentation] 農業は情報の「応用」か？農業分野から新しい情報技術を生み出す (2022)
  • Author(s): 大倉 史生
  • Organizer: 農業情報学会2022年度年次大会「情報分野から見た農業情報学」
  • Invited
• [Presentation] 画像からの枝葉「構造」の復元 (2022)
  • Author(s): 大倉 史生
  • Organizer: 第39回日本植物バイオテクノロジー学会大会「植物フェノタイピングに向けたデジタルテクノロジー」
  • Invited
• [Presentation] 3D structural reconstruction of plants: A perspective from computer vision study (2022)
  • Author(s): Fumio Okura
  • Organizer: The Fourth International Workshop on Machine Learning for Cyber-Agricultural Systems (MLCAS2022)
  • Int'l Joint Research / Invited
• [Presentation] 頂点最適化による植物の時空間トラッキング (2022)
  • Author(s): 長原 稔樹，大倉 史生，八木 康史
  • Organizer: 情報処理学会研究報告コンピュータビジョンとイメージメディア
• [Presentation] 画像からの枝葉構造の定量化 (2022)
  • Author(s): 大倉 史生
  • Organizer: 日本生態学会第69回全国大会シンポジウム「植物フェノタイピングは何を明らかにするか」
  • Invited
• [Presentation] 対応付けを必要としないバンドル調整 (2021)
  • Author(s): 島田 直大, 大倉 史生, 松下 康之
  • Organizer: 第24回 画像の認識・理解シンポジウム（MIRU2021）
• [Presentation] Conditional StyleGAN with multi-resolution classifiers for attribute-driven face synthesis (2021)
  • Author(s): Weng Ian Chan, Fumio Okura, Yasuyuki Matsushita
  • Organizer: 第24回 画像の認識・理解シンポジウム（MIRU2021）
• [Presentation] 多視点画像からの植物の三次元構造復元に向けて (2021)
  • Author(s): 大倉 史生
  • Organizer: 農業情報学会2021年度年次大会 オーガナイズドセッション「JSTさきがけプロジェクト「情報協働栽培」から」
  • Invited