Development of active 3D shape reconstruction method from non-perspective cameras

2020 Fiscal Year Final Research Report

• Project/Area Number: 18K19824
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Kyushu University
• Principal Investigator: Kawasaki Hiroshi 九州大学, システム情報科学研究院, 教授 (80361393)
• Co-Investigator(Kenkyū-buntansha): 小野 晋太郎 東京大学, 生産技術研究所, 特任准教授 (80526799)
• Project Period (FY): 2018-06-29 – 2021-03-31
• Keywords: ライトフィールドカメラ / アクティブ水中3次元計測 / SLAM / 水中ROV / DOE

Outline of Final Research Achievements

In this study, we aimed to develop (A) a central projection image synthesis by reconstructing underwater images captured by a light field camera, (B) an active stereo 3D reconstruction algorithm based on coplanarity using the property that the laser plane remains flat even in water, and (C) underwater wide area 3D shape measurement algorithm based on SLAM using active 3D scanner.
As a result, we succeeded in developing (A) a central projection image synthesis algorithm, which achieved better quality and contrast than simple approximation, (B) an active 3D reconstruction algorithm based on the coplanarity in water, and (C) a high density 3D reconstruction of a wide range of underwater scene by using an underwater robot (ROV).

Free Research Field

コンピュータビジョン・アクティブ３次元計測

Academic Significance and Societal Importance of the Research Achievements

既存の水中３次元計測で、広範囲を短時間で計測できるものは無く、さらに精密機器のため長期間にわたり水中での継続使用は困難であった。これに対して、今回開発した方式は、一瞬で水中の３次元を計測でき、さらに可動部分が無いためメンテナンスフリーであり、広範囲統合による誤差も少ないため、本開発成果は極めて多くの分野での波及効果が期待される。
例えば、老朽化した港湾内や原子炉内の配管等を自ら移動して、その内壁を検査するロボットの開発などへの応用や、また水中を通常カメラと同様に歪み無く撮影できるため、3次元復元にとどまらず、スポーツ解析や魚の生体映像の取得など、かつて得られなかったデータを取得できる。