2020 Fiscal Year Annual Research Report
Retrieval and detection of 3D shapes based on details of their parts
| Project/Area Number |
18K11313
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
大渕 竜太郎 山梨大学, 大学院総合研究部, 教授 (80313782)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古屋 貴彦 山梨大学, 大学院総合研究部, 助教 (00770835)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 3次元形状解析 / 3次元形状検索 / 3D形状比較 / 深層学習 / 3次元形状領域分割 |
|---|
| Outline of Annual Research Achievements |
以下の2項目を中心に研究を行った
＊3次元（3D）形状の回転不変で高精度な領域分割：我々の手法では，3Dモデルを部分で比較するため，3Dモデルを複数の意味のある部分領域に分割し，それぞれの部分の形状を抽出して比較する．そこで我々は，向き（3軸周りの回転）とスケール（相対的大きさ）に対して不変な3D部分形状の領域分割手法RMGnetを提案し評価した．RMGnetでは，まず，3D点群で与えられた3Dモデルを回転不変局所特徴群に変換する．ついで，これら回転不変局所特徴群をユークリッド近傍で結んで特徴グラフを形成し，この特徴グラフをエンコーダとデコーダの対で構成される多重解像度グラフ畳み込みDNNで解析する．複数の回転不変局所特徴抽出手法群，および複数の3D点群データベース群を組み合わせた評価の結果，RMGnetが高い回転不変性と高い領域分割精度を持つことが分かった．
＊トランスコードで学習する多表現3D形状特徴抽出器： 2Dスケッチと3D形状の比較は， 2Dスケッチの特徴と3D形状の特徴を共通潜在特徴空間で比較して行うことができる．これには複数のデータ型からの特徴抽出DNN群，および抽出された特徴群の潜在特徴空間への埋め込みDNN群の学習が必要である．そこで我々は，複数の異種データ型をランスコードすることで特徴抽出DNNおよび特徴埋め込みDNNを自己教師あり学習する手法SATを提案し評価した．入力データ型N個に対応したN個のエンコーダと，N個のデコーダを持ち，これらが1つの潜在特徴空間を共有する．例えば，3D点群から2Dレンダリング画像へ，3D点群から3Dボクセルへ，などのランダムに選ばれた組での再構成を経て，複数の特徴抽出DNN群とこれらが共有する潜在特徴空間が得られる．実験的評価の結果，既存の教師なし手法よりも高精度な特徴抽出DNNと共通潜在特徴空間が得られることが分かった．
|
