2014 Fiscal Year Research-status Report
| Project/Area Number |
26330133
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
大渕 竜太郎 山梨大学, 総合研究部, 教授 (80313782)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | スケッチ検索 / スケッチによる３Dモデル検索 / マルチメディア検索 / 形状モデリング / 機械学習 / コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
1. スケッチ検索： 2013年に発表したクロスドメイン多様体ランキング（CDMR)法を改良し，その成果を論文誌に発表した．この手法で3次元モデル検索の国際コンテストSHREC 2014 スケッチ検索部門に参加し，2位の成績を収めた．ただ，CDMR法は検索時の計算量が大きい．CDMRグラフは（視点数×3次元モデル）個の3次元モデル画像の特徴等を頂点とする大規模グラフで，生成と格納に時間とメモリ空間を要する．さらに，CDMR法では検索要求ごとCDMRグラフ上で尤度拡散を行う．その結果，3次元モデル数が10万を超えるようなデータベースでの「インタラクティブ（3秒以内）」の検索は不可能であった．
そこで，我々は，CDMR法のスケール化したクロスドメイン多様体ハッシング法（CMMH法）を提案した．CMMH法ではCDMRグラフの距離空間をハミング距離空間に非線形にハッシュし，検索要求と3次元モデル（の1視点からの画像）との比較を512ビット程度の2進ベクトル間のハミング距離計算に置き換えた．また，3次元モデル相互の比較法等も改良した．その結果，3次元モデルの数が100万モデル超える3次元モデルデータベースに対しても，CDMR法より高精度で，かつインタラクティブな時間で検索を実現できた．
2. 部分検索： 部分を記述したスケッチをクエリとして，見かけに基づく3次元モデルの検索を行う手法を考案，実装，評価した．その結果，検索精度が低く，かつ，検索の実行速度も，我々が「インタラクティブ検索」の目安としている3秒に比べ，10倍以上と大変遅かった． 現在，精度，速度を改善する手法を検討中である．
3. スケーラブル検索： 上記のCMMH法によるスケッチ検索では，ある程度スケーラブルな検索を実現できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1. スケッチ検索：十分な達成度が得られた．精度は良いものの処理速度とメモリ負荷に課題があったCDMR法を改良した超ドメイン多様体ハッシング（CMMH）法は，CDMR法に比べ，（単純な比較はできないものの）大まかに言って，精度が同等以上，速度は100~1000倍以上となった．
2. 部分検索：部分スケッチを検索要求とする部分検索は，まだ十分な結果が得られていない．
3. スケーラブル検索：十分な達成度が得られた．
|
| Strategy for Future Research Activity |
1. スケッチ検索：スケッチ検索に用いる特徴を改良する予定である．例えば，畳込み深層学習を用いたスケッチ画の特徴などを考えている．また，CDMR/CMM法では，スケッチ画相互，スケッチ画と3次元モデル，3次元モデル相互，で個別の比較法を用いることができる．この3つの比較それぞれに寄りより比較手法を検討する．
スケッチ検索の課題の一つは，人の描くスケッチがデータベースにある3次元モデルのスケッチ風レンダリング画像と大きく異なる場合があることである．例えば，人が棒人間で描かれたり，熊がぬいぐるみのクマとして描かれたりする．この問題点を解消する手法を検討する．
2. 部分検索：部分スケッチを検索要求とする部分検索は大変困難な課題であることが分かった．今後も部分スケッチを検索要求とする手法の検討も続けるが，部分3次元モデル，あるいは部分深さ画像等の，よりリッチな3次元情報を持つ検索要求による部分検索も検討する予定である．
3. スケーラブル検索：より大きい，例えば100万～100億個程度の3次元モデルからなる3次元モデルデータベースでも高精度かつ実時間（「3秒以内」）の検索ができるよう，処理量とメモリ使用量の低減や並列処理化等を通じて更なるスケーラブル化を検討する．
|
-
[Journal Article] A comparison of 3D shape retrieval methods based on a large-scale benchmark supporting multimodal queries2015
Author(s)
Bo Li, Yijuan Lu, Chunyuan Li, Afzal Godil, Tobias Schreck, Masaki Aono, Martin Burtscher, Qiang Chen, Nihad Karim Chowdhury, Bin Fang, Hongbo Fu, Takahiko Furuya, Haisheng Li, Jianzhuang Liu, Henry Johan, Ryuichi Kosaka, Hitoshi Koyanagi, Ryutarou Ohbuchi, Atsushi Tatsuma, Yajuan Wan, Chaoli Zhang, Changqing Zou
-
Journal Title
Computer Vision and Image Understanding
Volume: 131
Pages: 1-27
DOI
Peer Reviewed
-
-
-
-
-
[Presentation] Large Scale Comprehensive 3D Shape Retrieval2014
Author(s)
B. Li, Y. Lu, C. Li, A. Godil, T. Schreck, M. Aono, Q. Chen, N. K. Chowdhury, B. Fang, T. Furuya, H. Johan, R. Kosaka, H. Koyanagi, R. Ohbuchi, A. Tatsuma
Organizer
Eurographics Workshop on 3D Object Retrieval 2014 (3DOR 2014), （査読有り）
Place of Presentation
Strasbourg, France, DOI: 10.2312/3dor.20141059
Year and Date
2014-04-06 – 2014-04-06
-
[Presentation] Extended Large Scale Sketch-Based 3D Shape Retrieval2014
Author(s)
B. Li, Y. Lu, C. Li, A. Godil, T. Schreck, M. Aono, M. Burtscher, H. Fu, T. Furuya, H. Johan, J. Liu, R. Ohbuchi, A. Tatsuma, and C. Zou
Organizer
Eurographics Workshop on 3D Object Retrieval 2014 (3DOR 2014), （査読有り）
Place of Presentation
Strasbourg, France, DOI: 10.2312/3dor.20141058
Year and Date
2014-04-06 – 2014-04-06
-
-
-
