スケッチによる手軽でスケーラブルな3Dモデル検索

2014 年度 実施状況報告書

• 研究課題/領域番号: 26330133
• 研究機関: 山梨大学
• 研究代表者: 大渕 竜太郎 山梨大学, 総合研究部, 教授 (80313782)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• キーワード: スケッチ検索 / スケッチによる３Dモデル検索 / マルチメディア検索 / 形状モデリング / 機械学習 / コンピュータビジョン

研究実績の概要

1. スケッチ検索： 2013年に発表したクロスドメイン多様体ランキング（CDMR)法を改良し，その成果を論文誌に発表した．この手法で3次元モデル検索の国際コンテストSHREC 2014 スケッチ検索部門に参加し，2位の成績を収めた．ただ，CDMR法は検索時の計算量が大きい．CDMRグラフは（視点数×3次元モデル）個の3次元モデル画像の特徴等を頂点とする大規模グラフで，生成と格納に時間とメモリ空間を要する．さらに，CDMR法では検索要求ごとCDMRグラフ上で尤度拡散を行う．その結果，3次元モデル数が10万を超えるようなデータベースでの「インタラクティブ（3秒以内）」の検索は不可能であった．
そこで，我々は，CDMR法のスケール化したクロスドメイン多様体ハッシング法（CMMH法）を提案した．CMMH法ではCDMRグラフの距離空間をハミング距離空間に非線形にハッシュし，検索要求と3次元モデル（の1視点からの画像）との比較を512ビット程度の2進ベクトル間のハミング距離計算に置き換えた．また，3次元モデル相互の比較法等も改良した．その結果，3次元モデルの数が100万モデル超える3次元モデルデータベースに対しても，CDMR法より高精度で，かつインタラクティブな時間で検索を実現できた．
2. 部分検索： 部分を記述したスケッチをクエリとして，見かけに基づく3次元モデルの検索を行う手法を考案，実装，評価した．その結果，検索精度が低く，かつ，検索の実行速度も，我々が「インタラクティブ検索」の目安としている3秒に比べ，10倍以上と大変遅かった． 現在，精度，速度を改善する手法を検討中である．
3. スケーラブル検索： 上記のCMMH法によるスケッチ検索では，ある程度スケーラブルな検索を実現できた．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

1. スケッチ検索：十分な達成度が得られた．精度は良いものの処理速度とメモリ負荷に課題があったCDMR法を改良した超ドメイン多様体ハッシング（CMMH）法は，CDMR法に比べ，（単純な比較はできないものの）大まかに言って，精度が同等以上，速度は100~1000倍以上となった．
2. 部分検索：部分スケッチを検索要求とする部分検索は，まだ十分な結果が得られていない．
3. スケーラブル検索：十分な達成度が得られた．

今後の研究の推進方策

1. スケッチ検索：スケッチ検索に用いる特徴を改良する予定である．例えば，畳込み深層学習を用いたスケッチ画の特徴などを考えている．また，CDMR/CMM法では，スケッチ画相互，スケッチ画と3次元モデル，3次元モデル相互，で個別の比較法を用いることができる．この3つの比較それぞれに寄りより比較手法を検討する．
スケッチ検索の課題の一つは，人の描くスケッチがデータベースにある3次元モデルのスケッチ風レンダリング画像と大きく異なる場合があることである．例えば，人が棒人間で描かれたり，熊がぬいぐるみのクマとして描かれたりする．この問題点を解消する手法を検討する．
2. 部分検索：部分スケッチを検索要求とする部分検索は大変困難な課題であることが分かった．今後も部分スケッチを検索要求とする手法の検討も続けるが，部分3次元モデル，あるいは部分深さ画像等の，よりリッチな3次元情報を持つ検索要求による部分検索も検討する予定である．
3. スケーラブル検索：より大きい，例えば100万～100億個程度の3次元モデルからなる3次元モデルデータベースでも高精度かつ実時間（「3秒以内」）の検索ができるよう，処理量とメモリ使用量の低減や並列処理化等を通じて更なるスケーラブル化を検討する．

研究成果

• [雑誌論文] A comparison of 3D shape retrieval methods based on a large-scale benchmark supporting multimodal queries (2015)
  • 著者名/発表者名: Bo Li, Yijuan Lu, Chunyuan Li, Afzal Godil, Tobias Schreck, Masaki Aono, Martin Burtscher, Qiang Chen, Nihad Karim Chowdhury, Bin Fang, Hongbo Fu, Takahiko Furuya, Haisheng Li, Jianzhuang Liu, Henry Johan, Ryuichi Kosaka, Hitoshi Koyanagi, Ryutarou Ohbuchi, Atsushi Tatsuma, Yajuan Wan, Chaoli Zhang, Changqing Zou
  • 雑誌名: Computer Vision and Image Understanding 巻: 131 ページ: 1-27
  • DOI: 10.1016/j.cviu.2014.10.006
  • 査読あり
• [雑誌論文] Similarity Metric Learning for Sketch-based 3D Object Retrieval (2014)
  • 著者名/発表者名: Takahiko FURUYA and Ryutarou OHBUCHI
  • 雑誌名: Multimedia Tools and Applications 巻: 72 ページ: online
  • DOI: 10.1007/s11042-014-2171-3
  • 査読あり
• [学会発表] Hashing Cross-Modal Manifold for Scalable Sketch-based 3D Model Retrieval (2014)
  • 著者名/発表者名: Takahiko FURUYA and Ryutarou OHBUCHI
  • 学会等名: International Conference on 3D Vision (3DV) 2014, （査読有り）
  • 発表場所: Tokyo, Japan, DOI:10.1109/3DV.2014.72
  • 年月日: 2014-12-08 – 2014-12-11
• [学会発表] Fusing Multiple Features for Shape-based 3D Model Retrieval (2014)
  • 著者名/発表者名: Takahiko FURUYA and Ryutarou OHBUCHI
  • 学会等名: British Machine Vision Conference (BMVC) 2014, （査読有り）
  • 発表場所: Nottingham, U.K
  • 年月日: 2014-09-01 – 2014-09-05
• [学会発表] Lightweight binary voxel shape features for 3D data matching and retrieval (2014)
  • 著者名/発表者名: Takahiro Matsuda, Takahiko Furuya, Ryutarou Ohbuchi
  • 学会等名: First IEEE Int’l Conf. on Multimedia Big Data (BigMM) 2015, （査読有り）
  • 発表場所: Beijing, China
  • 年月日: 2014-04-20 – 2015-04-22
• [学会発表] Large Scale Comprehensive 3D Shape Retrieval (2014)
  • 著者名/発表者名: B. Li, Y. Lu, C. Li, A. Godil, T. Schreck, M. Aono, Q. Chen, N. K. Chowdhury, B. Fang, T. Furuya, H. Johan, R. Kosaka, H. Koyanagi, R. Ohbuchi, A. Tatsuma
  • 学会等名: Eurographics Workshop on 3D Object Retrieval 2014 (3DOR 2014), （査読有り）
  • 発表場所: Strasbourg, France, DOI: 10.2312/3dor.20141059
  • 年月日: 2014-04-06 – 2014-04-06
• [学会発表] Extended Large Scale Sketch-Based 3D Shape Retrieval (2014)
  • 著者名/発表者名: B. Li, Y. Lu, C. Li, A. Godil, T. Schreck, M. Aono, M. Burtscher, H. Fu, T. Furuya, H. Johan, J. Liu, R. Ohbuchi, A. Tatsuma, and C. Zou
  • 学会等名: Eurographics Workshop on 3D Object Retrieval 2014 (3DOR 2014), （査読有り）
  • 発表場所: Strasbourg, France, DOI: 10.2312/3dor.20141058
  • 年月日: 2014-04-06 – 2014-04-06
• [備考] 大渕のWebページ
  • URL: http://www.kki.yamanashi.ac.jp/~ohbuchi/
• [備考] 大渕の論文リストページ
  • URL: http://www.kki.yamanashi.ac.jp/~ohbuchi/publication.html
• [備考] 大渕のGoogle Scholarページ
  • URL: https://scholar.google.co.jp/citations?user=-NOU6eYAAAAJ