2017 Fiscal Year Annual Research Report
Research on Fine-grained 3D Shape Similarity Search and Automatic Captioning using Deep Learning
| Project/Area Number |
17H01746
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
青野 雅樹 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | ３Ｄ形状類似検索 / ３Ｄシーン / 深層学習 / 形状特徴量 / 部分検索 |
|---|
| Outline of Annual Research Achievements |
1年目の成果として、(1)３Ｄの部分検索に関する論文がスプリンガー社の国際ジャーナルで採択されたこと、(2)３Ｄ検索での利用可能な畳み込み形式の深層学習のプーリング手法で端数型のプーリング手法を開発し、こちらもスプリンガー社の国際ジャーナルで採択されたことがあげられる。また、３Ｄの部品がアゼンブリされた、いわゆる３Ｄシーンに対する精度な分類・検索を可能とする手法を開発し、特許出願を行った。
【項目1:深層学習に基づく細粒度３Ｄ形状類似検索の特徴量抽出】1年目は細粒度の形状特徴量として、スーパーベクトルに基づく特徴量を構成し、深度バッファ法とグローシェーディング法の２つのレンダリング法で生成された画像をもとに、高精度な３Ｄ部分検索手法を開発した。この成果はSpringerのMultimedia Tools and Applicationsで発表した。
また、３Ｄ形状特徴量を「ボクセルが時間軸方向にスライスされた形状」として、３Ｄ CNNとLSTMを混合した深層学習アーキテクチャで高精度に検索する手法も開発し、国際会議で発表した。更に、多重解像度特徴量とCNN特徴量を混合した特徴量も開発した。
【項目２： アセンブリ形状ベンチマークデータ構築】アセンブリ形状として、椅子、ソファ、テーブル等からなる３Ｄシーンデータの構築を開始した。こちらは、【項目３】の特許での実施例として利用した
【項目3：マルチビューのレンダリングに基づく部分形状抽出】1年目は、いろいろな３Ｄオブジェクトが混合する３Ｄシーンに対して複数のビューからのレンダリングとして、ボクセルとスプラッティングを組合わせ、微小な部分形状であっても、それを抽出することに成功した。この成果に関しては、特許出願を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
以下の項目を達成できたため。
(1) 3種類以上の３Ｄ形状特徴量を開発できたこと、(2) CNN型の深層学習で新規なプーリング手法を開発し国際ジャーナルで発表できたこと、(3) (1)の特徴量のひとつが、企業のソフトウェア製品に採用され、実用性を証明できたこと、(4) (1)の(3)とは別の特徴量に基づく内容で国際会議で採択され発表できたこと、(5) 複数の３Ｄモデルが統合された３Ｄシーンでの細粒度な物体検索、ならびに物体検出で２件特許出願できたこと、(6) (1)と(2)に関して、国際ジャーナル(インパクトファクタ1.5）で2件採択され、出版できたこと
当初の目標は1件のジャーナル、1件の特許だったので、それぞれ2件以上あり、研究成果のソフトウェアの企業製品への採用まで達成できたので、当初の予想以上の成果であり、当初の計画以上に進展したと判断した。
|
| Strategy for Future Research Activity |
３Ｄの形状特徴量の構築は、2Dの画像等に比べ、はるかに複雑度が高く、チャレンジングな課題であるため、伝統的な観察に基づく特徴量、機械学習に基づく特徴量、ならびに畳み込みだけでなく再帰型、多層パーセプトロン型等の深層学習に基づく特徴量の絶妙なハーモニーがキーとなるため、今後も様々な仮説・実験に基づき、特徴量の改良を重ねてゆきたいと思う。
一方で、細粒度の３Ｄの部分形状を正確に検出する技術も実用上、非常に重要であることを、企業等との技術相談や共同研究で体感しており、多数の部分形状から構成される３Ｄシーンに対する高精度な検索、特に、シーン全体からは、サイズ的に無視されそうだが、大事なパーツがある場合に、それを正しく推定できる基礎技術の研究開発を継続する予定である。
他方、３Ｄシーンの研究用のデータはまだ少なく、３Ｄ形状モデル検索の国際コンテストであるSHRECでも、2018年にやっと3Ｄシーンデータが登場したところであり、こちらのベンチマークデータの構築も継続して行う予定である。
さらに、３Ｄシーンのデータに関しては、SHRECで公開されたデータも、各カテゴリーで200個程度のデータしかなく、少ないデータで、いかに効率的に機械学習・深層学習を適用していくかの技術開発も行う予定である。
|
Research Products
(21 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Large-Scale 3D Shape Retrieval from ShapeNet Core552017
Author(s)
Manolis Savva, Asako Kanezaki, Takahiko Furuya, Ryutarou Ohbuchi, Masaki Aono, Atsushi Tatsuma, S. Thermos, A. Axenopoulos, G. Th. Papadopoulos, P. Daras, Xiao Deng, Zhouhui Lian, Bo Li, st al.
Organizer
Eurographics Workshop on 3D Object Retrieval
Int'l Joint Research
-
-
-
-
-
