スケッチによる手軽でスケーラブルな3Dモデル検索

2015 年度 実施状況報告書

• 研究課題/領域番号: 26330133
• 研究機関: 山梨大学
• 研究代表者: 大渕 竜太郎 山梨大学, 総合研究部, 教授 (80313782)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• キーワード: マルチメディア検索 / 3次元形状モデル / スケッチ検索 / 部分の例示による検索 / 画像検索

研究実績の概要

本研究では，線画スケッチ等，ユーザにとって簡便な検索要求を用い，3次元モデルをその部分または全体形状を指定して検索する手法の開発を目指す．2015年度の成果は以下の通り．
1．スケッチ画特徴：スケッチ画からの特徴抽出にDeep Learningを適用した．多量の自然画像で学習の後，スケッチ画像と3Dモデル輪郭レンダリング画像で追加学習した．その結果，スケッチ画と3Dモデル輪郭画像を比較する精度が向上した．現在改良中．
2. 局所3D形状特徴：3D有効点群から抽出するPosition and Orientation Distribution (POD)法を提案し評価した．PODでは，有効点群の部分体積の向きを正規化し，その体積中の点の位置，向き等を統計化して特徴ベクタとする．評価の結果，これまでの局所3D形状特徴よりも検索精度が高かった．（論文発表済み）
3. 局所特徴統合法：本研究では，局所特徴を効果的に統合するDiffusion on Manifold（DM）法を提案した．評価実験の結果，多くの場合においてFisher Vector法やSuper Vector法よりも高い精度を得ることができた．（論文発表済み．）
4. 手本画リアルタイム表示による3Dモデルのスケッチ検索：スケッチ画による3Dモデル検索では，スケッチと，3Dモデルの輪郭レンダリング画像とが大きく異なるために比較精度が低下する．提案手法では，スケッチ描画に合わせ，スケッチの背景に，スケッチと類似した見かけを持つ3Dモデル輪郭画像を手本としてリアルタイムに表示する．プロトタイプ実装を用いた予備実験の結果，手本に誘導されてスケッチ画の描画スタイルがが3Dモデル輪郭画像のそれに近づき，スケッチ画による3Dモデル検索の精度が高まることが分かった．（2016年6月に学会発表予定．）

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

スケッチのリアルタイム描画支援を用いたスケッチによる3Dモデル検索の研究では，処理の手間が当初の予想よりも多く，プロトタイプの実装に時間がかかった．

今後の研究の推進方策

スケッチ画と3Dモデルの輪郭画像を比較する特徴については，深層学習の適用等により，さらなる高精度化を図る．ただ，深層学習は，精度は高いものの，特徴抽出が比較的遅い．スケッチ描画のリアルタイム描画支援の場合には特徴抽出と比較の高速性が要求されるため，通常の深層学習より高速な手法の考案が必要と思われる．
局所3D形状特徴の抽出についても，深層学習の適用を検討中である．ただ，3D形状の場合には，単純に深層学習を適用しても，3Dモデル比較に重要な回転普遍性のある形状特徴を得ることができない．また，2D画像の画素に比べ，3D格子のボクセルはその数が多く，計算の複雑さが増す．局所体積の大きさによっては畳込みニューラルネットワークが複雑すぎて計算が困難な場合がある．この2つの問題を解決する手法を現在検討中である．

備考

http://www.kki.yamanashi.ac.jp/~ohbuchi/

研究成果

• [雑誌論文] Range Scans based 3D Shape Retrieval (2015)
  • 著者名/発表者名: Godil, A.; Dutagaci, H.; Bustos, B.; Choi, S.; Dong, S.; Furuya, T.; Li, H.; Link, N.; Moriyama, A.; Meruane, R.; Ohbuchi, R.; Paulus, D.; Schreck, T.; Seib, V.; Sipiran, I.; Yin, H.; Zhang, C.
  • 雑誌名: Proc. Eurographics Workshop on 3D Object Retrieval 巻: Proceedings ページ: 153-160
  • DOI: 10.2312/3dor.20151069
  • 査読あり / 国際共著
• [雑誌論文] Non-rigid 3D Shape Retrieval (2015)
  • 著者名/発表者名: Lian, Z.; Zhang, J.; Choi, S.; ElNaghy, H.; El-Sana, J.; Furuya, T.; Giachetti, A.; Guler, R. A.; Lai, L.; Li, C.; Li, H.; Limberger, F. A.; Martin, R.; Nakanishi, R. U.; Neto, A. P.; Nonato, L. G.; Ohbuchi, R.; Pevzner, K.; Pickup, D.; Rosin, P.; Sharf, A.; Sun, L.; Sun, X.; Tari, S.; Unal, G.; Wilson, R. C.
  • 雑誌名: Proc. Eurographics Workshop on 3D Object Retrieval 巻: Proceedings ページ: 107-120
  • DOI: 10.2312/3dor.20151064
  • 査読あり / 国際共著
• [雑誌論文] Diffusion-on-Manifold Aggregation of Local Features for Shape-based 3D Model Retrieval (2015)
  • 著者名/発表者名: Takahiko Furuya, Ryutarou Ohbuchi
  • 雑誌名: Proceedings of the 5th ACM on International Conference on Multimedia Retrieval 巻: Proceedings ページ: 171-178
  • DOI: 10.1145/2671188.2749380
  • 査読あり / 謝辞記載あり
• [学会発表] リアルタイム作画支援を備えたスケッチによる3次元モデル検索システム (2016)
  • 著者名/発表者名: 長田 茜, 古屋 貴彦, 大渕 竜太郎
  • 学会等名: Visual Computing / グラフィクスと CAD 合同シンポジウム 2016
  • 発表場所: 早稲田大学国際会議場（東京）
  • 年月日: 2016-06-18 – 2016-06-19
• [学会発表] Deep Convolutional Neural Networkを用いた物体の3軸回転に頑強な3次元形状比較に向けて (2016)
  • 著者名/発表者名: 池谷 健，古屋 貴彦，大渕 竜太郎
  • 学会等名: Visual Computing / グラフィクスと CAD 合同シンポジウム 2016
  • 発表場所: 早稲田大学国際会議場（東京）
  • 年月日: 2016-06-18 – 2016-06-19