Development of super-resolution method for 3D consumer scanner data using deep learning

2020 Fiscal Year Final Research Report

• Project/Area Number: 18K11418
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Sasebo National College of Technology
• Principal Investigator: Teshima Yuji 佐世保工業高等専門学校, 電子制御工学科, 准教授 (60387503)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 点群 / 超解像 / 欠損検出 / 欠損補間 / 点群整形

Outline of Final Research Achievements

The problem with using 3D scanners is that the scanned data contains missing data. The purpose of our research is to generate highly accurate point cloud data (super-resolution data) from the one containing defects. The proposed process flow consists of missing data detection using point cloud morphology operations, interpolation using deep learning, and data modification as post-processing.
The experimental results show that the proposed method can extract the missing data from the point cloud data and can enhance it as one of the correction methods. In addition, this study showed the possibility of interpolating the missing parts by using deep learning.

Free Research Field

コンピュータグラフィックス

Academic Significance and Societal Importance of the Research Achievements

スマートフォンやタブレット等の携帯情報端末に搭載されている3次元スキャナーを活用することで、多様かつ先進的アプリケーションの開発が可能となる。本研究ではコンシューマ向けスキャナーで取得した際の点群データの欠損問題に焦点を当てて課題解決に取り組んでおり、その成果はスキャナーの性能向上と直結する。それによってアプリケーション開発の幅を広げることができ、かつ、アプリケーションの質や操作精度を高めることができる。また、本研究では、点群を入力する深層学習も導入しており、今後への継続的かつ発展的取り組みも期待できる。