3D modeling using an RGBD camera in the mobile environment and its application to mixed reality

2018 Fiscal Year Final Research Report

• Project/Area Number: 16H02851
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: National Institute of Informatics
• Principal Investigator: Sugimoto Akihiro 国立情報学研究所, コンテンツ科学研究系, 教授 (30314256)
• Co-Investigator(Kenkyū-buntansha): 大石 岳史 東京大学, 生産技術研究所, 准教授 (80569509)
• Research Collaborator: PAJDLA tomas ; THOMAS diego
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 3次元モデル / 複合現実感 / モバイル環境 / コンピュータビジョン

Outline of Final Research Achievements

We aimed at developing a method for constructing high fidelity 3D models in real time with less memory consumption from streaming input data captured by an RGBD camera in the mobile environment. We developed a parametric surface representation for dense 3D modeling, a model fitting method, robust and accurate depth fusion, and so on. As a result, we succeeded in accurately modeling large-scale indoor scenes in real time with cheap memory consumption. We could also show the effectiveness of our developed methods for mixed reality in the outdoor scenes.

Free Research Field

数理工学

Academic Significance and Societal Importance of the Research Achievements

省メモリでリアルタイムに３次元モデルを高精度に生成する技術は、スマートフォンの写真撮影や映像撮影の要領で、エンドユーザがだれでも思い立った時にその場で、簡単にリアルタイムで３次元モデルを生成し、それを手軽に楽しめる環境を提供するものである。通信技術と連携することで、訪問が困難な博物館に保管された展示物や未公開遺産のモデル化・伝送を通じた文化遺産の３次元情報発信、遠隔講義おける教材提供の充実、３次元地図データ生成などへの応用が見込まれる。