3D Shape Modeling from Sparse Multi-view Images

2020 Fiscal Year Final Research Report

• Project/Area Number: 18K11352
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Shizuoka University
• Principal Investigator: Okabe Makoto 静岡大学, 工学部, 准教授 (40557211)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: Computed tomography / 機械学習 / モデリング / レンダリング

Outline of Final Research Achievements

We propose a method of three-dimensional (3D) volume modeling from sparse multi-view images (e.g., only a single-view input or a pair of front- and side-view inputs). The volume determined from such sparse inputs using previous methods appears blurry and unnatural with novel views; however, our method preserves the appearance of novel viewing angles by transferring the appearance information from input images to novel viewing angles. For appearance information, we use texture features learned from the input images. We demonstrate our method successfully provides natural-looking volumetric shapes from sparse multi-view input images.

Free Research Field

コンピュータグラフィックス

Academic Significance and Societal Importance of the Research Achievements

CTによるボリュームのモデリングには、相当数(通常、数百枚程度)のソノグラム画像(X線写真など)が必要となる。ソノグラム画像の枚数を大幅に減らしても高画質なボリュームをモデリングできる技術を開発することで、1)医療でCTを用いる際、撮影時間を短縮し被写体に与える負担を軽減できる、2)自然現象(煙／炎／液体などの流体、樹木などの植物)のモデリングにCTを用いる際、必要なカメラの台数が減らせる、3)ソノグラム画像が少数なら各画像をユーザが直接編集でき、形状デザインのためのインタラクティブなソフトウェアが開発できる、という3つのメリットがある。