意味属性と２D入力を含む多様なクエリ下での高精度な三次元物体検索の研究

2014 年度 実績報告書

• 研究課題/領域番号: 26280038
• 研究機関: 豊橋技術科学大学
• 研究代表者: 青野 雅樹 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• キーワード: 3D形状類似検索 / オントロジー / アノテーション

研究実績の概要

【項目1：類似形状の多い3D形状データベースでの高精度3D検索手法の開発】　Purdue大学が作成した機械部品データベース（Engineering Shape Benchmark (ESB)）のように類似形状物体の多い3D形状データベースに対する検索では、「穴」「突起」「凹凸」などの正確な形状を把握できず、高精度を達成することが難しい、という問題を有している。そこで、「穴」「凹凸」などの微細な形状の識別性能に優れた特徴量HSRD(Hole and Surface Roughness Descriptor)を開発し、高精度な3D→3D検索手法を確立した。目標としていたESBを用いてP@1評価基準で90%の精度を達成した。
【項目2：2Dスケッチからの高精度3D検索手法の開発】　検索のクエリをスケッチとする場合、検索対象物が目の前になくても検索が可能である。しかし、スケッチに描かれる線画は一般に不完全で、デフォルメされている場合が多い。大量の2Dスケッチを学習素材として、未知な2Dスケッチから3Dを検索するタスクは、SHREC（Shape Retrieval Contest）と呼ばれる3D形状類似検索の国際コンテストで2012年から開始されている学術的課題である。代表者は2013年から参加し、最初は世界第三位であったが、昨年度、OPHOG (Overlapping Pyramidal Histogram of Oriented Gradients)法を開発し、これに多様体ランキングを組合わせる新手法を開発し、SHREC2014のスケッチタスクで世界第一位となった。
【項目3：2D画像への意味付与手法の開発】　2Dスケッチならびに2D写真等からの3D検索手法開発のために、2Dの画像自体への意味付与技術を開発することが重要である。そこで、画像へのアノテーション・タスクを有するImageCLEF(http://www.imageclef.org/)と呼ばれる多言語での画像検索コンテストに参加し、オントロジーという意味体系を利用する新手法で世界第一位の精度を達成した。

現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

【項目1】では、HSRD特徴量を開発し、国際学会で採択され発表した。
【項目2】では、スケッチから3D検索という困難な課題に対してOPHOG特徴量を開発し、多様体ランキング手法と合わせて、国際コンテストSHREC2014のスケッチタスクで世界最高性能を達成した。この結果は、コンテストのオーガナイザが中心となって執筆したElsevierの国際論文誌でも紹介されている。
【項目3】では、画像のアノテーションの国際コンテストで独自のオントロジーを最大限活用した新手法で、東大やヨーロッパの強豪がひしめく中、世界最高性能を達成した。

以上の理由から、当初の計画以上に進展している、と判断した。

今後の研究の推進方策

【項目1】の機械部品に対する新特徴量はそれ自体、学会でも表彰を受けた手法であるが、機械部品のCADメーカーの現場での実用性を考えると、まだ改良の余地がある。たとえば、微細な「突起」があるかないかの違い、「穴」があっても、その「穴」の位置や数の違いなど、よりクエリに近い形状を検索しようとすると、まだそこまでの精度が出ていない。そこで、細部にわたる高精度を目指す。
【項目2】のスケッチから3D検索は、誇れる精度を達成したが、2D入力でもうひとつチャレンジングなのが、1枚の2D写真から被写体に含まれる3Dの形状類似検索である。こちらは、スケッチよりも、そもそも入力されるデータは正確であるが、色やテクスチャ、光源による光沢感などの影響で通常の特徴量抽出ではうまく検索できない。そこで、2D写真からの3D形状類似検索のより高性能な手法を開拓したい。
【項目3】のアノテーション手法は、対象データである画像に単語列を付与する、というアノテーションでは高い性能を得ることができたが、2015年度以降のImageCLEFアノテーションタスクでは、画像のどの領域に、対応するアノテーションとなるオブジェクトがあるか、という領域指定までが要求される。そのため、領域指定を含む意味属性付与手法を開発し、画像だけでなく3Dモデルに対しても適用できるよう研究を推進していく予定である。

次年度使用額が生じた理由

博士後期課程学生の研究補助（人件）費で割当予定であったが、大学院博士前期課程の学生（留学生）が博士後期課程に進学せず帰国し、その人件費分が余ったため。

次年度使用額の使用計画

前年度(平成26年度)に論文を投稿し、採択が決まっていた別の博士課程学生の（平成27年度に開催される）国際会議出席のための旅費に割り当てる予定である。

研究成果

• [雑誌論文] A comparison of 3D shape retrieval methods based on a large-scale benchmark supporting multimodal queries (2015)
  • 著者名/発表者名: Bo Li, Y. Lu, C. Li, A. Godil, T. Schreck, Masaki Aono, M. Burtscher, Q. Chen, Nihad Karim Chowdhury, B. Fang, H. Fu, T. Furuya, H. Li, J. Liu, H. Johan, Ryuichi Kosaka, Hitoshi Koyanagi, R. Ohbuchi, Atsushi Tatsuma, Y. Wan, C.i Zhang, C. Zou
  • 雑誌名: Computer Vision and Image Understanding 巻: 131 ページ: 1,27
  • DOI: http://dx.doi.org/10.1016/j.cviu.2014.10.006
  • 査読あり
• [雑誌論文] Intelligent Interface for Textual Attitude Analysis (2014)
  • 著者名/発表者名: Alena Neviarouskaya, Masaki Aono, Helmut Prendinger, and Mitsuru Ishizuka
  • 雑誌名: ACM Transactions on Intelligent Systems and Technology 巻: 5 ページ: 48:1, 48:20
  • DOI: http://dx.doi.org/10.1145/2535912
  • 査読あり
• [学会発表] クロスドメイン推薦に向けたユーザ嗜好の予測手法の提案 (2015)
  • 著者名/発表者名: 吉井和輝，立間淳司，青野雅樹
  • 学会等名: 情報処理学会第77回全国大会
  • 発表場所: 京都大学
  • 年月日: 2015-03-19
• [学会発表] 株価急変動要因に着目した株価予測 (2015)
  • 著者名/発表者名: 桜田亮太, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 立命館大学
  • 年月日: 2015-03-13
• [学会発表] 分類器の予測確率情報を用いた葉画像分類の提案 (2015)
  • 著者名/発表者名: Siang Thye Hang, 立間淳司, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 立命館大学
  • 年月日: 2015-03-10
• [学会発表] レビュー文書を用いた観点ベースの単語極性判定法の検討 (2014)
  • 著者名/発表者名: 奥村泰明, 青野雅樹
  • 学会等名: 第12回情報学ワークショップ （Winf2014）
  • 発表場所: 静岡大学
  • 年月日: 2014-11-29
• [学会発表] KDEVIR at ImageCLEF 2014 Scalable Concept Image Annotation Task: Ontology-based Automatic Image Annotation (2014)
  • 著者名/発表者名: Ismat Ara Reshma, Md Zia Ullah, and Masaki Aono
  • 学会等名: Working Notes for CLEF2014 Conference
  • 発表場所: Sheffield, UK
  • 年月日: 2014-09-15 – 2014-09-18
• [学会発表] 単語位置と強弱表現に着目したツイートの感情分析 (2014)
  • 著者名/発表者名: 三和未佐希, 立間淳司, 青野雅樹
  • 学会等名: 第13回情報科学技術フォーラム (FIT2014)
  • 発表場所: 筑波大学
  • 年月日: 2014-09-04
• [学会発表] 株式掲示板を用いた投稿数のバースト発生時における株価・株式関連指標動向の予測 (2014)
  • 著者名/発表者名: 桜田亮太,青野雅樹
  • 学会等名: 第13回情報科学技術フォーラム (FIT2014)
  • 発表場所: 筑波大学
  • 年月日: 2014-09-03
• [学会発表] 地理情報を埋込んだ画像特徴量に基づく写真画像の位置情報推定 (2014)
  • 著者名/発表者名: Pav Vanna, 青野雅樹, 立間淳司
  • 学会等名: 第13回情報科学技術フォーラム (FIT2014)
  • 発表場所: 筑波大学
  • 年月日: 2014-09-03
• [学会発表] Query Subtopic Mining for Search Result Diversification (2014)
  • 著者名/発表者名: Md Zia Ullah, Masaki Aono
  • 学会等名: The 2014 International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA 2014)
  • 発表場所: Bandung, Indonesia
  • 年月日: 2014-08-20 – 2014-08-22
• [学会発表] Ontology based Classification for Multi-label Image Annotation (2014)
  • 著者名/発表者名: Ismat Ara Reshma, Md Zia Ullah, Masaki Aono
  • 学会等名: International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA 2014)
  • 発表場所: Bandung, Indonesia
  • 年月日: 2014-08-20 – 2014-08-22
• [学会発表] Ontology based Supervised Learning for Image Annotation (2014)
  • 著者名/発表者名: Ismat Ara Reshma, Md Zia Ullah, Masaki Aono
  • 学会等名: 電子情報通信学会 画像工学研究会
  • 発表場所: 千葉工業大学
  • 年月日: 2014-08-01
• [備考] 知識データ工学・情報検索研究室 研究業績
  • URL: http://www.kde.cs.tut.ac.jp/publications/?preview=true&preview_id=15&preview_nonce=b8cacb0cb4
• [産業財産権] 三次元モデル検索システム、及び三次元モデル検索方法 (2014)
  • 発明者名: 青野雅樹、立間淳司
  • 権利者名: 青野雅樹、立間淳司
  • 産業財産権種類: 特許
  • 産業財産権番号: 特願2014-088578
  • 出願年月日: 2014-04-04