研究課題
1年目の成果として、(1)3Dの部分検索に関する論文がスプリンガー社の国際ジャーナルで採択されたこと、(2)3D検索での利用可能な畳み込み形式の深層学習のプーリング手法で端数型のプーリング手法を開発し、こちらもスプリンガー社の国際ジャーナルで採択されたことがあげられる。また、3Dの部品がアゼンブリされた、いわゆる3Dシーンに対する精度な分類・検索を可能とする手法を開発し、特許出願を行った。【項目1:深層学習に基づく細粒度3D形状類似検索の特徴量抽出】1年目は細粒度の形状特徴量として、スーパーベクトルに基づく特徴量を構成し、深度バッファ法とグローシェーディング法の2つのレンダリング法で生成された画像をもとに、高精度な3D部分検索手法を開発した。この成果はSpringerのMultimedia Tools and Applicationsで発表した。また、3D形状特徴量を「ボクセルが時間軸方向にスライスされた形状」として、3D CNNとLSTMを混合した深層学習アーキテクチャで高精度に検索する手法も開発し、国際会議で発表した。更に、多重解像度特徴量とCNN特徴量を混合した特徴量も開発した。【項目2: アセンブリ形状ベンチマークデータ構築】アセンブリ形状として、椅子、ソファ、テーブル等からなる3Dシーンデータの構築を開始した。こちらは、【項目3】の特許での実施例として利用した【項目3:マルチビューのレンダリングに基づく部分形状抽出】1年目は、いろいろな3Dオブジェクトが混合する3Dシーンに対して複数のビューからのレンダリングとして、ボクセルとスプラッティングを組合わせ、微小な部分形状であっても、それを抽出することに成功した。この成果に関しては、特許出願を行った。
1: 当初の計画以上に進展している
以下の項目を達成できたため。(1) 3種類以上の3D形状特徴量を開発できたこと、(2) CNN型の深層学習で新規なプーリング手法を開発し国際ジャーナルで発表できたこと、(3) (1)の特徴量のひとつが、企業のソフトウェア製品に採用され、実用性を証明できたこと、(4) (1)の(3)とは別の特徴量に基づく内容で国際会議で採択され発表できたこと、(5) 複数の3Dモデルが統合された3Dシーンでの細粒度な物体検索、ならびに物体検出で2件特許出願できたこと、(6) (1)と(2)に関して、国際ジャーナル(インパクトファクタ1.5)で2件採択され、出版できたこと当初の目標は1件のジャーナル、1件の特許だったので、それぞれ2件以上あり、研究成果のソフトウェアの企業製品への採用まで達成できたので、当初の予想以上の成果であり、当初の計画以上に進展したと判断した。
3Dの形状特徴量の構築は、2Dの画像等に比べ、はるかに複雑度が高く、チャレンジングな課題であるため、伝統的な観察に基づく特徴量、機械学習に基づく特徴量、ならびに畳み込みだけでなく再帰型、多層パーセプトロン型等の深層学習に基づく特徴量の絶妙なハーモニーがキーとなるため、今後も様々な仮説・実験に基づき、特徴量の改良を重ねてゆきたいと思う。一方で、細粒度の3Dの部分形状を正確に検出する技術も実用上、非常に重要であることを、企業等との技術相談や共同研究で体感しており、多数の部分形状から構成される3Dシーンに対する高精度な検索、特に、シーン全体からは、サイズ的に無視されそうだが、大事なパーツがある場合に、それを正しく推定できる基礎技術の研究開発を継続する予定である。他方、3Dシーンの研究用のデータはまだ少なく、3D形状モデル検索の国際コンテストであるSHRECでも、2018年にやっと3Dシーンデータが登場したところであり、こちらのベンチマークデータの構築も継続して行う予定である。さらに、3Dシーンのデータに関しては、SHRECで公開されたデータも、各カテゴリーで200個程度のデータしかなく、少ないデータで、いかに効率的に機械学習・深層学習を適用していくかの技術開発も行う予定である。
すべて 2018 2017
すべて 雑誌論文 (4件) (うち国際共著 2件、 査読あり 4件、 オープンアクセス 1件) 学会発表 (15件) (うち国際学会 8件) 産業財産権 (2件)
Multimedia Tools and Applications
巻: 76 ページ: 22059,22076
http://dx.doi.org/10.1007/s11042-017-4801-z
情報処理学会論文誌
巻: 10 ページ: 1,7
IEICE Transactions on Information and Systems
巻: E-100-D ページ: 793,806
http://dx.doi.org/10.1587/transinf.2016DAP0032
巻: 76 ページ: 22095,22117
http://dx.doi.org/10.1007/s11042-017-4840-5