2018 Fiscal Year Research-status Report
Retrieval and detection of 3D shapes based on details of their parts
| Project/Area Number |
18K11313
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
大渕 竜太郎 山梨大学, 大学院総合研究部, 教授 (80313782)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古屋 貴彦 山梨大学, 大学院総合研究部, 助教 (00770835)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 3次元形状検索 / 部分3次元形状比較 / 3次元形状のラベル付け / 深層学習 / スケッチ検索 / データ拡張 |
|---|
| Outline of Annual Research Achievements |
本年度は，以下の3つのテーマを中心に研究を行った
＊ 部分3次元（3D）形状の文字ラベル付け：テキストは人間にとって最も扱いやすい検索要求である．そこで，3D形状の部分形状および全体形状に対し多様な文字ラベルを付与することで，テキストをクエリとして部分・全体3D形状を検索する手法を検討した．3D形状を点群化したのちに部分形状にセグメンテーションし，3D形状全体及び部分3D形状ごとに形状特徴を求める．これら形状特徴を，Word2VecによりWikipediaコーパスより獲得した単語の分散表現と共通の特徴空間に埋め込むことで，形状特徴に対し類義語や上位語等を含む多様な単語を関連付ける．
＊ 描きかけスケッチによる3D形状検索： 3D形状を，描きかけのスケッチをクエリとして検索する手法を検討した．スケッチで3D形状を検索する際，当初から詳細を描いたスケッチが描ける場合は少ない．そこで，検索者が描きかけのスケッチから，1描線の追加ごとに随時3D形状を検索してその結果に基づいて人の描画を誘導することにより，検索者の求める詳細を持つ3D形状を検索する手法の研究を行った．描線の座標を時系列として再帰型DNNに与えて得る特徴，および描線追加ごとの画像を2次元のCNNに与えて得る特徴，を組み合わせることで，描線数の少ないスケッチにもかかわらずよい検索精度を得られることが分かった．
＊ 教師無し学習による3D形状特徴取得： 3D形状特徴を，正解ラベルを持たない3D形状データベースをもとに教師無しで獲得する手法．3D点群で表現された3D形状に対しWasserstein敵対的生成ネットワーク（Wasserstein GAN）を適用し，教師なしで3D形状特徴を獲得する手法を検討した．その結果，これまでの教師無し学習で得られる3D形状特徴と比べ高い精度が得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
検索要求の多様性を高めるため，3次元形状に加え，スケッチ，およびテキスト，で全体及び部分形状を指定し，インタラクティブに検索を進める手法に関する研究はほぼ予定通りに進んだ．
反面，3次元形状の部分らしさ検出器についての研究は十分には進んでいない．
|
| Strategy for Future Research Activity |
スケッチやテキストによる検索要求指定を「人―機械」協調ループの中に含む部分3次元形状検索についてさらに研究を進める．具体的には，以下の2つについて
＊ 高精度な全体・部分形状特徴： より高精度な全体及び部分形状特徴を得るための研究を行う．正解情報を持つ3次元形状モデルが少ない場合のために，学習用の3次元形状モデルデータの拡張手法について検討を進める．2次元画像の場合と比較し，3次元形状データにおけるデータ拡張の研究はまだ少数しか存在しない．また，教師情報なしで高精度な形状特徴を学習する手法についても研究を継続する．
＊ 部分らしさ検出器： 3次元形状の部分比較のための部分らしさ検出器について検討を進める．2次元画像における物体検出の成果を参考に，点群表現を中心とした3次元形状データを対象とする部分形状らしさ検出器の検討を行う．
|
