| 研究課題/領域番号 |
18K11313
|
|---|
| 研究機関 | 山梨大学 |
|---|
研究代表者 |
大渕 竜太郎 山梨大学, 大学院総合研究部, 教授 (80313782)
|
|---|
| 研究分担者 |
古屋 貴彦 山梨大学, 大学院総合研究部, 助教 (00770835)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 3次元形状検索 / 部分3次元形状比較 / 3次元形状のラベル付け / 深層学習 / スケッチ検索 / データ拡張 |
|---|
| 研究実績の概要 |
本年度は，以下の3つのテーマを中心に研究を行った
＊ 部分3次元（3D）形状の文字ラベル付け：テキストは人間にとって最も扱いやすい検索要求である．そこで，3D形状の部分形状および全体形状に対し多様な文字ラベルを付与することで，テキストをクエリとして部分・全体3D形状を検索する手法を検討した．3D形状を点群化したのちに部分形状にセグメンテーションし，3D形状全体及び部分3D形状ごとに形状特徴を求める．これら形状特徴を，Word2VecによりWikipediaコーパスより獲得した単語の分散表現と共通の特徴空間に埋め込むことで，形状特徴に対し類義語や上位語等を含む多様な単語を関連付ける．
＊ 描きかけスケッチによる3D形状検索： 3D形状を，描きかけのスケッチをクエリとして検索する手法を検討した．スケッチで3D形状を検索する際，当初から詳細を描いたスケッチが描ける場合は少ない．そこで，検索者が描きかけのスケッチから，1描線の追加ごとに随時3D形状を検索してその結果に基づいて人の描画を誘導することにより，検索者の求める詳細を持つ3D形状を検索する手法の研究を行った．描線の座標を時系列として再帰型DNNに与えて得る特徴，および描線追加ごとの画像を2次元のCNNに与えて得る特徴，を組み合わせることで，描線数の少ないスケッチにもかかわらずよい検索精度を得られることが分かった．
＊ 教師無し学習による3D形状特徴取得： 3D形状特徴を，正解ラベルを持たない3D形状データベースをもとに教師無しで獲得する手法．3D点群で表現された3D形状に対しWasserstein敵対的生成ネットワーク（Wasserstein GAN）を適用し，教師なしで3D形状特徴を獲得する手法を検討した．その結果，これまでの教師無し学習で得られる3D形状特徴と比べ高い精度が得られた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
検索要求の多様性を高めるため，3次元形状に加え，スケッチ，およびテキスト，で全体及び部分形状を指定し，インタラクティブに検索を進める手法に関する研究はほぼ予定通りに進んだ．
反面，3次元形状の部分らしさ検出器についての研究は十分には進んでいない．
|
| 今後の研究の推進方策 |
スケッチやテキストによる検索要求指定を「人―機械」協調ループの中に含む部分3次元形状検索についてさらに研究を進める．具体的には，以下の2つについて
＊ 高精度な全体・部分形状特徴： より高精度な全体及び部分形状特徴を得るための研究を行う．正解情報を持つ3次元形状モデルが少ない場合のために，学習用の3次元形状モデルデータの拡張手法について検討を進める．2次元画像の場合と比較し，3次元形状データにおけるデータ拡張の研究はまだ少数しか存在しない．また，教師情報なしで高精度な形状特徴を学習する手法についても研究を継続する．
＊ 部分らしさ検出器： 3次元形状の部分比較のための部分らしさ検出器について検討を進める．2次元画像における物体検出の成果を参考に，点群表現を中心とした3次元形状データを対象とする部分形状らしさ検出器の検討を行う．
|
