2015 Fiscal Year Research-status Report
三次元物体の形状に基づく自動アノテーション技術の開発
| Project/Area Number |
15K15992
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
立間 淳司 豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (60711166)
|
|---|
| Project Period (FY) |
2015-04-01 – 2017-03-31
|
| Keywords | マルチメディア / パターン認識 / 情報検索 / 三次元物体 |
|---|
| Outline of Annual Research Achievements |
平成27年度の重要な研究課題は、三次元物体の特徴量の開発であった。特徴量の抽出処理は、パターン認識全般においても重要な課題である。これに対して、近年、畳み込みニューラルネットワークによる特徴抽出が注目を集めている。本研究でも、優れた弁別性を有する三次元物体の特徴量を抽出するため、この畳み込みニューラルネットワークを用いることを考えた。畳み込みニューラルネットワークにより弁別性の優れた特徴量を抽出するためには、大量のラベル付きデータでの学習が必要となる。しかし、一般に、三次元物体のデータセットは未だ小規模である。そこで、大規模画像データセットで学習した畳み込みニューラルネットワークを用いて、特徴抽出を行うことを考えた。学習済みの畳み込みニューラルネットワークの低層の畳み込み層は、画像のエッジやコーナーといった特徴を捉える。本研究では、三次元物体からレンダリングした深度バッファ画像を、学習済みの畳み込みニューラルネットワークに入力し、畳み込み層の出力の共分散を特徴量とすることを考えた。本手法は、従来手法と比較して、優れた弁別性を有することを実験で確認した。また、本手法は、深度バッファ画像だけでなく、通常の画像にも応用できる。食事画像の認識に応用し、従来手法よりも優れた認識性能を得ることを確認した。その他、三次元物体の自動アノテーションを評価するためのデータセットの作成、色付き三次元物体に対応した特徴量の抽出、マルチモーダルニューラルネットワークの調査・考案を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成27年度に計画していた、三次元物体の自動アノテーションのためのデータセット作成と、新たな三次元物体の特徴量の考案を行うことができた。データセットの作成では、含まれる三次元物体・ラベルの内容が異なる二種類のデータセットを作成した。このデータセットを用いて、予備実験を進めた。特徴量の考案では、研究実績の概要で述べた様に、学習済み畳み込みニューラルネットワークを用いた特徴抽出手法を考案した。その他、画像のテクスチャ解析手法であるLocal Binary Patternを応用した、色付き三次元物体の特徴量も開発した。また、平成28年度に研究・開発を予定しているマルチモーダル次元削減手法については、予備実験・調査等を終えている。以上から、おおむね当初の計画どおり研究が進められていると判断した。
|
| Strategy for Future Research Activity |
今後の研究では、三次元物体の自動アノテーションのためのマルチモーダル次元削減手法の考案・開発を進める。これまでの研究で、評価のための三次元物体に形状を表す複数ラベルを付与したデータセットの作成と、マルチモーダル次元削減手法の予備調査を終えている。三次元物体とそれに付与された複数ラベルとの関係は、二部グラフで表現できる。この二部グラフで表現された関係を反映した、部分空間の解析方法を考案することが、今後の重要な課題となる。また合わせて、得られた研究成果を、論文誌にまとめることも進める。
|
Research Products
(9 results)
-
[Journal Article] Retrieval and classification methods for textured 3D models: a comparative study2016
Author(s)
S. Biasotti, A. Cerri, M. Aono, A. Ben Hamza, V. Garro, A. Giachetti, D. Giorgi, A. Godil, C. Li, C. Sanada, M. Spagnuolo, A. Tatsuma, S. Velasco-Forero
-
Journal Title
The Visual Computer
Volume: 32
Pages: 217-241
DOI
Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
-
-
-
-
-
-
-
[Presentation] Retrieval of Objects Captured with Kinect One Camera2015
Author(s)
Pedro B. Pascoal, Pedro F. Proen, Filipe Gaspar, Miguel Sales Dias, Luis Filipe Teixeira, Alfredo Ferreira, Viktor Seib, Norman Link, Dietrich Paulus, Atsushi Tatsuma, Masaki Aono
Organizer
Eurographics Workshop on 3D Object Retrieval 2015
Place of Presentation
スイス，チューリッヒ大学
Year and Date
2015-05-02 – 2015-05-03
Int'l Joint Research
-
