2015 Fiscal Year Annual Research Report
意味属性と２D入力を含む多様なクエリ下での高精度な三次元物体検索の研究
| Project/Area Number |
26280038
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
青野 雅樹 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 3D形状類似検索 / アノテーション / 意味付与 |
|---|
| Outline of Annual Research Achievements |
【項目1：類似形状の多い3D形状データベースでの高精度3D検索手法の開発】 「穴」「凹凸」などの微細な形状の識別性能に優れた高精度の3D検索手法のために、これまでHSRD特徴量(HSRD=Hole and Surface Roughness Descriptor)を開発してきた。H27年度は、HSRDよりも更に精度の高いMRLBP (Multi-Resolution Local Binary Pattern)法を開発した。これら２つの技術をもとに3D CADモデルデータを扱う機械部品系の企業との共同研究を行い技術移転した。なお、HSRDとMRLBPは、H28年度以降、同企業のPLM (Product Life Management 製品ライフサイクル管理)システムに組み込まれることが決定した。
【項目2：2Dからの高精度3D検索手法の開発】 3Dモデルの形状類似検索を行うために、クエリ（検索質問）として手元に3Dモデルが必須であることは、ユーザの負担が大きい。このため2D入力で3Dを検索できることは、とても有用である。H27年度は、スマートフォンやデジカメ等で簡単に撮影できる2D写真から、被写体に類似する3Dモデルの形状類似検索に関する新手法を開発した。この新手法では、2D写真内の被写体データをShadingデータとReflectanceデータに分離することで達成した技術である。この技術は、国際会議で採択され、成果の発表を行った。
【項目3：2D画像への意味付与手法の開発】 2Dスケッチならびに2D写真等からの3D検索手法開発のために、2Dの画像自体への意味付与技術を開発することが重要である。H27年度は、画像に対してより意味のあるラベルとして、英語の注釈文を自動付与する技術開発に挑戦した。これは深層学習の応用例としても世界的に注目されている技術である。開発した技術を国内学会で発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【項目1】では、これまでで最高の検索精度を有するMRLBP特徴量を開発し、企業との共同研究の開拓と技術移転、特に3D CADモデルの管理を含むPLM(プロダクトライフサイクル管理)システム製品への採用が決まった。
【項目2】では、H26年度に開発し、国際コンテストで世界一位の検索性能を達成したスケッチから3Dモデル検索のデモシステムが【項目1】にも述べた共同研究先で高評価を受け、国内シンポジウムで招待講演を行った。さらに、2D写真から3Dモデルの検索を行う新しい手法を開発し、国際会議で採択され発表を行った。
【項目3】では、深層学習で世界的な注目を浴びている画像への注釈文に関する研究で、顕著領域に着目した新たな自動注釈文付与の手法を開発し、国内学会で発表を行うことが出来た。
以上の理由から、当初の計画以上に進展している、と判断した。
|
| Strategy for Future Research Activity |
【項目1】の機械部品に対してH27年度に開発した新特徴量MRLBPは、H28年度から機械部品のCADメーカーの現場で使われ始めることとなった。企業からの新たなリクエストとして、アゼンブリされた複雑な形状からなる機械部品も多く、そのような場合、部分形状からの検索が必須機能であることがわかっている。そこで、今後の方向として、3Dの部分類似形状検索を推進し、この分野で新たな技術を開発したいと考えている。
【項目2】の2Dクエリを含む多様なクエリに対応した検索システムでは、2D写真からの検索技術を開発してきたが、さらに、写真に含まれる色やテクスチャを考慮した検索技術の開発を推進したいと考えている。この技術開発のためには、3Dのクエリから3Dモデルを検索する側でも、色やテクスチャを含む検索技術の開発が求められる。たとえば、家具に代表される椅子や机の形状だけでなく色やテクスチャが重要であり、車のボディでも形状だけでなく、色も重要な要素であると考えている。
【項目3】のアノテーション手法では、深層学習を用いて、単語列のラベルだけでなく、画像の内容を記述する自然文での注釈技法の開発に着手でき、国内学会での発表を行うことができた。今後は、さらに、画像中の領域指定を含む自然文での意味属性付与手法を開発し、これらをインデックスとした新たな検索手法の開発に着手したいと考えている。さらに、画像だけでなく3Dモデルに対しても注釈分を適用できるよう研究を推進していく予定である。
|
-
[Journal Article] Retrieval and classification methods for textured 3D models: A comparative study2016
Author(s)
S. Biasotti, A. Cerri, Masaki Aono, A. Ben Hamza, V. Garro, A. Giachetti, D. Giorgi, A. Godil, C. Li , Chika Sanada, M. Spagnuolo, Atsushi Tatsuma, S. Velasco-Forero
-
Journal Title
Visual Computer
Volume: 32
Pages: 217, 241
DOI
Peer Reviewed / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Retrieval of Objects Captured with Kinect One Camera2015
Author(s)
Pedro B. Pascoal, Pedro Proença, Filipe Gaspar, Miguel Sales Dias, Filipe Teixeira, Alfredo Ferreira, Viktor Seib, Norman Link, Dietrich Paulus, Atsushi Tatsuma, Masaki Aono
Organizer
Eurographics Workshop on 3D Object Retrieval
Place of Presentation
Zurich, Switzerland
Year and Date
2015-05-02 – 2015-05-03
Int'l Joint Research
-
