Research on Fine-grained 3D Shape Similarity Search and Automatic Captioning using Deep Learning
| Project/Area Number |
17H01746
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Research Field |
Multimedia database
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
青野 雅樹 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Project Status |
Granted (Fiscal Year 2020)
|
| Budget Amount *help |
¥13,650,000 (Direct Cost: ¥10,500,000、Indirect Cost: ¥3,150,000)
Fiscal Year 2020: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2019: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2018: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2017: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
|
|---|
| Keywords | 深層学習 / 3D形状 / マルチモーダル / 部分検索 / 自動注釈 / 3Dシーン / 3D形状類似検索 / 部分形状抽出 / ベンチマーク / 3D / 検索 / 分類 / ３Ｄ形状類似検索 / ３Ｄシーン / 形状特徴量 / 注釈付与 |
|---|
| Outline of Annual Research Achievements |
2年目の成果として、(1) 部分検索に関する新たな手法を開発し、その論文が国際会議で採択され口頭発表を行ったこと、(2) 3D形状オブジェクトの膨大な集合体である3Dシーン分類ならびに検索手法を開発し、その論文が国際会議で採択され口頭発表を行ったこ。また、3Dシーンにおける3D物体検出にも適用可能な、リアルタイム性のある物体認識の新手法を開発し、新たに特許出願を行った。また過去に出願していた3D形状類似検索に関する3件の特許を、2018年度にいずれも特許号として取得することができた。
【項目1:深層学習に基づく細粒度3D形状類似検索の特徴量抽出】2018年度は細粒度の形状特徴量として、TVS (Tri-projection Voxel Splatting)法を開発した。TVS法は、多数の3D形状からなる個々の3Dシーンに対して、中心から投影スクリーンに全3Dデータを複数方向に投影して生成される投影画像の重ね合わせを特徴量とし、100層以上の層からなる深層学習を用いて学習する細粒度で高性能な分類検索手法である。
【項目２： アセンブリ形状ベンチマークデータ構築】アセンブリ形状ベンチマークとして、2018年度では、34クラスの3D CAD機械部品アセンブリモデル、合計約4000個のデータからなるベンチマークデータを構築した。また、このベンチマークデータを用いて【項目1】で述べたTVS法で98%程度の分類精度が出ることを確認した。
【項目3：マルチビューのレンダリングに基づく部分形状抽出】前年度では、【項目1】で述べたTVS法を開発する過程で、部分形状を含む3Dシーンを正確に認識することに成功した。2018年度では、深層学習の中でも自動運転技術に利用されている画素ごとにラベリングを行う「セマンティック・セグメンテーション」を3D形状の部分形状抽出に適用する新技術の開発に着手した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
以下の項目を達成できたため。
(1) 深層学習を内包するTVS法を開発し、これを3Dシーン分類だけでなく、アセンブリ形状の分類にも応用できたこと、(2) TVS法に関する論文を国際会議に投稿し、採択され口頭発表できたこと、(3) 新しい深層学習を利用する部分検索手法を開発国際会議に投稿し、採択され口頭発表できたこと、(4) リアルタイム性のある新しい物体認識手法を開発し、特許出願できたこと（特願2018-236091 (出願日：2018年12月18日））、(5) 3D機械部品アセンブリ形状のベンチマークの第一版を完成し、アセンブリされた複合体での深層学習を用いた分類・検索の研究に着手できたこと、(6) 3Dの自動注釈付与の第一歩として、画像のセマンティック・セグメンテーション技術を用いた新手法の開発に着手できたこと
当初の目標は1件のジャーナル、1件の特許であり、これらは、予定通り達成できた。一方、昨年度は研究成果の製品化に代表される研究成果の社会への目に見える還元を達成できたが、社会へのアピールが前年度に比べると相対的に少なかった。一方で、新しい技術の芽を幾つか提案でき、今後の展開に期待できるので総じて「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
3D形状モデルによる深層学習は、データが少ない場合、きわめて挑戦的であると感じてきたが、今年度作成してきたベンチマークデータ、ならびにそれを用いた分類・検索手法の開発を進める中で、少ないデータ状況下でも深層学習を巧妙に利用可能な新しい技術の芽が生まれた。
一方、TVS法のように、元来3Dシーン分類・検索のために開発した技術も、データ表現な符号化を工夫することで、部分検索に応用できる目星をつけることができた。
今後、ベンチマークデータを充実させるとともに、これらの技術の芽を伸ばし、国際会議やジャーナルなどで発表できる技術レベルまで到達させ、更に当該分野での研究推進をしていく予定である。また、3年目以降に予定していた3D形モデルへの自動注釈付与に関して、部分検索技術、ならびに画像で適用されてきたセマンティック・セグメンテーション技術を応用し、3D形状モデルへの自動注釈付与に着手することを予定している。
|
Report
(2 results)
Research Products
(42 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Large-Scale 3D Shape Retrieval from ShapeNet Core552017
Author(s)
Manolis Savva, Asako Kanezaki, Takahiko Furuya, Ryutarou Ohbuchi, Masaki Aono, Atsushi Tatsuma, S. Thermos, A. Axenopoulos, G. Th. Papadopoulos, P. Daras, Xiao Deng, Zhouhui Lian, Bo Li, st al.
Organizer
Eurographics Workshop on 3D Object Retrieval
Related Report
Int'l Joint Research
-
-
-
-
-
-
-
-
