Research on Fine-grained 3D Shape Similarity Search and Automatic Captioning using Deep Learning

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H01746
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Multimedia database
• Research Institution: Toyohashi University of Technology
• Principal Investigator: Aono Masaki 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: 三次元形状類似検索 / 部分形状表現 / 三次元部分形状検索 / 3Dシーン / 3Dアセンブリ / 自動注釈付与

Outline of Final Research Achievements

In this research, we have developed a fine-grained 3D shape-like search method based on deep learning, proposed new partial shape representations and a method for automatic annotation for objects in 3D scene. The target data is consists of a large amount of 3D objects typically seen in 3D scenes and 3D assembly databases.
First, we have developed a TVS (Tri-projection Voxel Splatting) method that can recognize 3D scenes with high precision. Second, we have developed a TBPSR (Topology Based Partial Shape Retrieval) method based on topological structure. Finally, by adding POS (Part-Of-Speech) information to the annotation during training stage, we have developed a novel automatic annotation method for highly accurate 3D scene images.

Free Research Field

三次元形状類似検索　特徴量抽出　深層学習

Academic Significance and Societal Importance of the Research Achievements

小規模～中規模の3Dデータ(データ数1万以下）のものでは、高精度な三次元形状類似検索が知られていたが、本研究を通して10万～100万程度のビッグデータかつ複雑な3Dデータに対して、細粒度な検索が可能な部分形状を定義できた。このことで、機械部品、輸送用機械に代表される製造業や建築産業に対して、大規模な3Dデータから、小領域空間にある部分形状だけ与えて、それを含む複雑な3Dシーンや3Dアセンブリが高精度に検索できるようになった。今回開発したスケーラブルな部分検索手法は我々が知る限り、実用化されていない。また、自動注釈付与技術は、膨大な3Dデータを管理するシステムに付加価値を与えてくれる意義を持つ。