三次元物体の形状に基づく自動アノテーション技術の開発

2016 年度 実績報告書

• 研究課題/領域番号: 15K15992
• 研究機関: 豊橋技術科学大学
• 研究代表者: 立間 淳司 豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (60711166)
• 研究期間 (年度): 2015-04-01 – 2017-03-31
• キーワード: マルチメディア / パターン認識 / 情報検索 / 三次元物体

研究実績の概要

平成28年度の重要な研究課題は、マルチモーダル次元削減手法の開発であった。三次元物体の自動アノテーションは、与えられた三次元物体に、その形状を表現する複数のラベルを割付与する技術である。これを実現するために、あらかじめ人手で三次元物体に複数ラベルを付与した訓練データセットを作成し、三次元物体とラベルとの関係を保存した部分空間への射影を求めることを考えた。まず、ベースラインとして、最近傍法による自動アノテーションを開発した。与えられた三次元物体に最も類似する三次元物体を訓練データセットから探し出し、そこに付与されたラベルを推定結果として出力する。この最近傍法では、特徴ベクトルの類似性のみを頼りにラベルを推定するため、三次元物体とラベルとの関係は考慮されない。三次元物体と複数ラベルとの関係は、お互いを頂点とする二部グラフで表される。この二部グラフによる関係を保存した部分空間への射影を求め、この空間において、最近傍法による自動アノテーションを行うことを考えた。グラフ上の類似度を計算する手法にSimRank法がある。これは「頂点の接続関係が類似するもの同士は類似している」という考えに基づいて、頂点間の類似度を計算する手法である。SimRank法は二部グラフに対するアルゴリズムも提案されている。これを、三次元物体と複数ラベルによる二部グラフに適応し、ラベルで表される三次元物体間の類似度を求めた。そして、このSimRank法による類似度を部分空間に保存する次元削減手法であるSimRank Similarity Preserving Projection (SSPP) 法を新たに考案した。実験から、SSPP法による自動アノテーションは、従来手法よりも優れたアノテーション性能を得ることができた。SSPP法についての論文は投稿中である。

研究成果

• [雑誌論文] Volumetric Spiral Scan Orderによる三次元考古遺物モデルの類似検索 (2017)
  • 著者名/発表者名: 濵田和真, 立間淳司, 青野雅樹
  • 雑誌名: 情報処理学会論文誌データベース 巻: 74 ページ: 未定
  • DOI: 10.1007/s11263-016-0903-8
  • 査読あり / 謝辞記載あり
• [雑誌論文] Food Image Recognition Using Covariance of Convolutional Layer Feature Maps (2016)
  • 著者名/発表者名: Atsusi Tatsuma, Masaki Aono
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E99.D ページ: 1711-1715
  • DOI: 10.1587/transinf.2015EDL8212
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Shape Retrieval of Non-rigid 3D Human Models (2016)
  • 著者名/発表者名: D. Pickup, X. Sun, P. L. Rosin, R. R. Martin, Z. Cheng, Z. Lian, M. Aono, A. Ben Hamza, A. Bronstein, M. Bronstein, S. Bu, U. Castellani, S. Cheng, V. Garro, A. Giachetti, A. Godil, L. Isaia, J. Han, H. Johan, L. Lai, B. Li, C. Li, H. Li, R. Litman, X. Liu, Z. Liu, Y. Lu, L. Sun, G. Tam, A. Tatsuma, J. Ye
  • 雑誌名: International Journal of Computer Vision 巻: 120 ページ: 169-193
  • DOI: 10.1007/s11263-016-0903-8
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [学会発表] 時空間自己相似ヒストグラムと統計量を用いた人物動作認識 (2017)
  • 著者名/発表者名: 髙垣幸秀 , 立間淳司, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 名城大学天白キャンパス
  • 年月日: 2017-03-22 – 2017-03-25
• [学会発表] 再構成誤差の重みを類似度としたスケッチによる三次元物体の検索 (2017)
  • 著者名/発表者名: 小林将也, 立間淳司, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 名城大学天白キャンパス
  • 年月日: 2017-03-22 – 2017-03-25
• [学会発表] 近傍集合類似度を用いた多様体ランキングによる三次元物体の形状類似検索 (2017)
  • 著者名/発表者名: 真田知佳, 立間淳司, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 名城大学天白キャンパス
  • 年月日: 2017-03-22 – 2017-03-25
• [学会発表] Bluefield (KDE TUT) at LifeCLEF 2016 Plant Identification Task (2016)
  • 著者名/発表者名: Siang Thye Hang, Atsushi Tatsuma, Masaki Aono
  • 学会等名: CLEF2016
  • 発表場所: University of Evora, Portugal
  • 年月日: 2016-09-05 – 2016-09-08
  • 国際学会
• [学会発表] Shape Retrieval of Low-Cost RGB-D Captures (2016)
  • 著者名/発表者名: Pedro B. Pascoal, Pedro Proena, Filipe Gaspar, Miguel Sales Dias, Alfredo Ferreira, Atsushi Tatsuma, Masaki Aono, K. Berker Logoglu, Sinan Kalkan, Alptekin Temizel, Bo Li, Henry Johan, Yijuan Lu, Viktor Seib, Norman Link, Dietrich Paulus
  • 学会等名: Eurographics Workshop on 3D Object Retrieval 2016
  • 発表場所: Instituto Superior Tecnico, Portugal
  • 年月日: 2016-05-07 – 2016-05-08
  • 国際学会
• [学会発表] Large-Scale 3D Shape Retrieval from ShapeNet Core55 (2016)
  • 著者名/発表者名: Manolis Savva, Fisher Yu, Hao Su, Masaki Aono, Baoquan Chen, Daniel Cohen-Or, Weihong Deng, Hang Su, Song Bai, Xiang Bai, Noa Fish, Jiajie Han, Evangelos Kalogerakis, Erik G. Learned-Miller, Yangyan Li, Minghui Liao, Subhransu Maji, Atsushi Tatsuma, Yida Wang, Nanhai Zhang, and Zhichao Zhou
  • 学会等名: Eurographics Workshop on 3D Object Retrieval 2016
  • 発表場所: Instituto Superior Tecnico, Portugal
  • 年月日: 2016-05-07 – 2016-05-08
  • 国際学会
• [産業財産権] 画像特徴量及びそれを用いる三次元形状検索システム (2017)
  • 発明者名: 立間淳司, 小林将也, 青野雅樹
  • 権利者名: 国立大学法人豊橋技術科学大学
  • 産業財産権種類: 特許
  • 産業財産権番号: 特願2017-042156
  • 出願年月日: 2017-03-06