意味属性と２D入力を含む多様なクエリ下での高精度な三次元物体検索の研究

• 研究課題/領域番号: 26280038
• 研究種目: 基盤研究(B)
• 配分区分: 一部基金
• 応募区分: 一般
• 研究分野: マルチメディア・データベース
• 研究機関: 豊橋技術科学大学
• 研究代表者: 青野 雅樹 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)
• 連携研究者: 立間 淳司 豊橋技術科学大学, 大学院工学研究科, 助教 (60711166)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• 研究課題ステータス: 完了 (2016年度)
• 配分額: 7,020千円 (直接経費: 5,400千円、間接経費: 1,620千円); 2016年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円); 2015年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円); 2014年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
• キーワード: 情報検索 / 機械学習 / 3D / 特徴量 / 3D形状類似検索 / アノテーション / 注釈文 / シーングラフ / スケッチ検索 / 写真検索 / 意味属性 / 意味付与 / オントロジー

研究成果の概要

三次元物体に対する形状類似検索手法として、事前に訓練の必要のない学習手法（教師無し学習手法）において、多重解像度ローカルバイナリパターン法(MRLBP法）を開発し世界最高性能を達成した。また、この手法で特許を出願した。また、通常、三次元物体を検索するためにクエリとなる別の三次元物体を入力する必要があるが、これはユーザに負担が大きいので2Dのスケッチ入力からの三次元物体の検索新手法としてOPHOG法を開発し、SHREC2014国際コンテストの2Dスケッチからの3D検索トラックで世界第一位の検索精度を達成した。三次元物体の部分検索手法に関しても特許出願を果たした。

研究成果

• [雑誌論文] Microblog Retrieval Using Ensemble of Feature Sets through Supervised Feature Selection (2017)
  • 著者名/発表者名: Abu Nowshed Chy, Md Zia Ullah and Masaki Aono
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E100.D 号: 4 ページ: 793-806
  • DOI: 10.1587/transinf.2016DAP0032
  • NAID: 130005529887
  • ISSN: 0916-8532, 1745-1361
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [雑誌論文] Shape Retrieval of Non-rigid 3D Human Models (2016)
  • 著者名/発表者名: D.Pickup, X.Sun, P.L.Rosin, R.R.Martin, Z.Cheng, Z.Lian, Masaki Aono
  • 雑誌名: International Journal of Computer Vision 巻: 120 号: 2 ページ: 169-193
  • DOI: 10.1007/s11263-016-0903-8
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] A Bipartite Graph-Based Ranking Approach to Query Subtopics Diversification Focused on Word Embedding Features (2016)
  • 著者名/発表者名: Md Zia Ullah and Masaki Aono
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E99.D 号: 12 ページ: 3090-3100
  • DOI: 10.1587/transinf.2016EDP7190
  • NAID: 130005170962
  • ISSN: 0916-8532, 1745-1361
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [雑誌論文] Retrieval and classification methods for textured 3D models: A comparative study (2016)
  • 著者名/発表者名: S. Biasotti, A. Cerri, Masaki Aono, A. Ben Hamza, V. Garro, A. Giachetti, D. Giorgi, A. Godil, C. Li , Chika Sanada, M. Spagnuolo, Atsushi Tatsuma, S. Velasco-Forero
  • 雑誌名: Visual Computer 巻: 32 号: 2 ページ: 217-241
  • DOI: 10.1007/s00371-015-1146-3
  • 査読あり / 国際共著
• [雑誌論文] Estimating a Ranked List of Human Genetic Diseases by Associating Phenotype-Gene with Gene-Disease Bipartite Graphs (2015)
  • 著者名/発表者名: Md Zia Ullah, Masaki Aono, Md Hanif Seddiqui
  • 雑誌名: ACM Transactions on Intelligent Systems and Technology 巻: 6 号: 4 ページ: 1-21
  • DOI: 10.1145/2700487
  • 査読あり / 国際共著
• [雑誌論文] A comparison of 3D shape retrieval methods based on a large-scale benchmark supporting multimodal queries (2015)
  • 著者名/発表者名: B. Li, Y. Lu, C. Li, A. Godil, T. Schreck, M. Aono, M. Burtscher, Q. Chen, N. Chowdhury, B. Fang, H. Fu, T. Furuya, H. Li, J. Liu, H. Johan, R. Kosaka, H. Koyanagi, R. Ohbuchi, A. Tatsuma, Y. Wan, C. Zhang, C. Zou
  • 雑誌名: Computer Vision and Image Understanding 巻: 131 ページ: 1-27
  • DOI: 10.1016/j.cviu.2014.10.006
  • 査読あり
• [雑誌論文] Intelligent Interface for Textual Attitude Analysis (2014)
  • 著者名/発表者名: Alena Neviarouskaya, Masaki Aono, Helmut Prendinger, and Mitsuru Ishizuka
  • 雑誌名: ACM Transactions on Intelligent Systems and Technology 巻: 5 号: 3 ページ: 1-20
  • DOI: 10.1145/2535912
  • 査読あり
• [学会発表] 単語分散表現と文法的な表現に着目したカスタマーレビューの観点ごとの評価値推定 (2017)
  • 著者名/発表者名: 大塚 達也, 青野雅樹
  • 学会等名: DEIM2017 (第9回データ工学と情報マネジメントに関するフォーラム）
  • 発表場所: 高山グリーンホテル
• [学会発表] 化粧品レビューサイトにおけるクチコミの有用性判定 (2017)
  • 著者名/発表者名: 髙島侑里, 青野雅樹
  • 学会等名: 言語処理学会第23回年次大会(NLP2017)
  • 発表場所: 筑波大学
• [学会発表] 単語のポジティブ・ネガティブでの出現比率に着目したツイートの極性分類 (2017)
  • 著者名/発表者名: 姫野晋之介, 青野雅樹
  • 学会等名: 言語処理学会第23回年次大会(NLP2017)
  • 発表場所: 筑波大学
• [学会発表] LSTMとCNNを用いたボクセル表現に基づく三次元形状類似検索手法の提案 (2017)
  • 著者名/発表者名: 宮城諒, 青野雅樹
  • 学会等名: パターン認識・メディア理解(PRMU)研究会
  • 発表場所: 名城大学
• [学会発表] 再構成誤差の重みを類似度としたスケッチによる三次元物体の検索 (2017)
  • 著者名/発表者名: 小林将也, 立間淳司，青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 名城大学
• [学会発表] 近傍集合類似度を用いた多様体ランキングによる三次元物体の形状類似検索, (2017)
  • 著者名/発表者名: 真田知佳，立間淳司，青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 名城大学
• [学会発表] 時空間自己相似ヒストグラムと統計量を用いた人物動作認識 (2017)
  • 著者名/発表者名: 髙垣幸秀, 立間淳司, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 名城大学
• [学会発表] 重要単語からなる料理テキストと料理画像のマルチモーダル特徴量を用いた料理名推定 (2016)
  • 著者名/発表者名: 小田将規, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 九州大学伊都キャンパス
  • 年月日: 2016-03-15
• [学会発表] Shape Retrieval of Low-Cost RGB-D Captures (2016)
  • 著者名/発表者名: Pedro B. Pascoal, Pedro Proença, Filipe Gaspar, Miguel Sales Dias, Alfredo Ferreira, Atsushi Tatsuma, Masaki Aono
  • 学会等名: 9th Eurographics Workshop on 3D Object Retrieval
  • 発表場所: Lisbon, Portugal
  • 国際学会
• [学会発表] Partial Shape Queries for 3D Object Retrieval (2016)
  • 著者名/発表者名: Ioannis Pratikakis, Michalis A. Saveloys, Takahiko Furuya, Ryutarou Ohbuchi, Masaki Aono, Shoki Tashiro
  • 学会等名: 9th Eurographics Workshop on 3D Object Retrieval
  • 発表場所: Lisbon, Portugal
  • 国際学会
• [学会発表] Large-Scale 3D Shape Retrieval from ShapeNet Core55 (2016)
  • 著者名/発表者名: M. Savva, F. Yu, Hao Su, M. Aono, B. Chen, D. Cohen-Or
  • 学会等名: 9th Eurographics Workshop on 3D Object Retrieval
  • 発表場所: Lisbon, Portugal
  • 国際学会
• [学会発表] KDETM at NTCIR-12 Temporalia Task: Combining a Rule-based Classifier with Weakly Supervised Learning for Temporal Intent Disambiguation (2016)
  • 著者名/発表者名: Abu Nowshed Chy, Md Zia Ullah, Md Shajalal and Masaki Aono
  • 学会等名: NTCIR12, Temporalia-2
  • 発表場所: Tokyo, Japan
  • 国際学会
• [学会発表] KDEIM at NTCIR-12 IMine-2 Search Intent Mining Task: Query Understanding through Diversified Ranking of Subtopics (2016)
  • 著者名/発表者名: Md Zia Ullah, Md Shajalal and Masaki Aono
  • 学会等名: NTCIR12, IMine-2
  • 発表場所: Tokyo, Japan
  • 国際学会
• [学会発表] Query Subtopic Diversification based on Cluster Ranking and Semantic Feature, (2016)
  • 著者名/発表者名: Md Shajalala, Md Zia Ullahb, Abu Nowshed Chy, and Masaki Aono
  • 学会等名: The 2016 International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA 2016)
  • 発表場所: Penang, Malaysia
  • 国際学会
• [学会発表] Bluefield (KDE TUT) at LifeCLEF 2016 Plant Identification Task (2016)
  • 著者名/発表者名: Siang Thye Hang, Atsushi Tatsuma, and Masaki Aono
  • 学会等名: LifeCLEF 2016 Workshop in Conference and Labs of the Evaluation Forum (CLEF2016)
  • 発表場所: University of Évora, Portugal
  • 国際学会
• [学会発表] Query Subtopic Mining Exploiting Word Embedding for Search Result Diversification (2016)
  • 著者名/発表者名: Md. Zia Ullah, Md. Shajalal, Abu Nowshed Chy, and Masaki Aono
  • 学会等名: 12th Asia Information Retrieval Societies Conference (AIRS2016)
  • 発表場所: Beijing, China
  • 国際学会
• [学会発表] Open World Plant Image Identification Based on Convolutional Neural Network (2016)
  • 著者名/発表者名: Siang Thye Hang and Masaki Aono
  • 学会等名: Asia Pacific Signal and Information Processing Association (APSIPA2016)
  • 発表場所: Jeju, Korea
  • 国際学会
• [学会発表] 顕著性マップを用いた画像の説明文自動生成 (2016)
  • 著者名/発表者名: 吉井和輝, エリック・ニコルズ, 船越孝太郎, 中野幹生, 青野雅樹
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 北九州国際会議センター
• [学会発表] テキストクエリで指定した画像中の領域を特定する一手法 (2016)
  • 著者名/発表者名: 遠藤 昂, 船越孝太郎, エリック・ニコルズ, 青野雅樹
  • 学会等名: 電子情報通信学会 画像工学研究会
  • 発表場所: 福岡大学
• [学会発表] 3D Shape Retrieval from a Photo Using Intrinsic Image (2015)
  • 著者名/発表者名: Shoki Tashiro and Masaki Aono
  • 学会等名: Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA2015)
  • 発表場所: Hong Kong
  • 年月日: 2015-12-19
  • 国際学会
• [学会発表] 料理レシピサイトから抽出される特徴に基づいた調理時間予測 (2015)
  • 著者名/発表者名: 阿部卓也, 立間淳司, 青野雅樹
  • 学会等名: 第43回情報科学技術フォーラム (FIT2015)
  • 発表場所: 愛媛大学
  • 年月日: 2015-09-06
• [学会発表] 文法的な表現を手がかりとした宿泊施設レビュー文の意見分類 (2015)
  • 著者名/発表者名: 大塚達也, 立間淳司, 青野雅樹
  • 学会等名: 第43回情報科学技術フォーラム (FIT2015)
  • 発表場所: 愛媛大学
  • 年月日: 2015-09-06
• [学会発表] Combining Temporal and Content Aware Features for Microblog Retrieval (2015)
  • 著者名/発表者名: Abu Nowshed Chy, Md Zia Ullah and Masaki Aono
  • 学会等名: The 2015 International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA 2015)
  • 発表場所: Chonburi, Thailand
  • 年月日: 2015-08-20
  • 国際学会
• [学会発表] New Composite Shape and Texture Descriptors for 3D Model Retrieval (2015)
  • 著者名/発表者名: Hero Yudo Martono, Masaki Aono
  • 学会等名: 4th International Conference on Computing and Computer Vision (ICCCV2015)
  • 発表場所: Hong Kong
  • 年月日: 2015-06-23
  • 国際学会
• [学会発表] Time and Context Aware Re-ranker for Microblog Retrieval (2015)
  • 著者名/発表者名: Chy Abu Nowshed, Ullah Md Zia, 青野 雅樹
  • 学会等名: 人工知能学会全国大会
  • 発表場所: はこだて未来大学
  • 年月日: 2015-05-31
• [学会発表] 日本語単語ベクトルの構築とその評価 (2015)
  • 著者名/発表者名: 吉井和輝，ニコルズエリック，中野 幹生, 青野 雅樹
  • 学会等名: 情報処理学会第221回自然言語処理研究会
  • 発表場所: 東北大学
  • 年月日: 2015-05-25
• [学会発表] Retrieval of Non-rigid (Textured) Shapes Using Low Quality 3D Models (2015)
  • 著者名/発表者名: Andrea Giachetti, Francesco Farina, Francesco Fornasa, Atsushi Tatsuma, Chika Sanada, Masaki Aono, Silvia Biasotti, Andrea Cerri, Sungbin Choi
  • 学会等名: Eurographics Workshop on 3D Object Retrieval
  • 発表場所: Zurich, Switzerland
  • 年月日: 2015-05-02
  • 国際学会
• [学会発表] Retrieval of Objects Captured with Kinect One Camera (2015)
  • 著者名/発表者名: Pedro B. Pascoal, Pedro Proença, Filipe Gaspar, Miguel Sales Dias, Filipe Teixeira, Alfredo Ferreira, Viktor Seib, Norman Link, Dietrich Paulus, Atsushi Tatsuma, Masaki Aono
  • 学会等名: Eurographics Workshop on 3D Object Retrieval
  • 発表場所: Zurich, Switzerland
  • 年月日: 2015-05-02
  • 国際学会
• [学会発表] クロスドメイン推薦に向けたユーザ嗜好の予測手法の提案 (2015)
  • 著者名/発表者名: 吉井和輝，立間淳司，青野雅樹
  • 学会等名: 情報処理学会第77回全国大会
  • 発表場所: 京都大学
  • 年月日: 2015-03-19
• [学会発表] 株価急変動要因に着目した株価予測 (2015)
  • 著者名/発表者名: 桜田亮太, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 立命館大学
  • 年月日: 2015-03-13
• [学会発表] 分類器の予測確率情報を用いた葉画像分類の提案 (2015)
  • 著者名/発表者名: Siang Thye Hang, 立間淳司, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 立命館大学
  • 年月日: 2015-03-10
• [学会発表] レビュー文書を用いた観点ベースの単語極性判定法の検討 (2014)
  • 著者名/発表者名: 奥村泰明, 青野雅樹
  • 学会等名: 第12回情報学ワークショップ （Winf2014）
  • 発表場所: 静岡大学
  • 年月日: 2014-11-29
• [学会発表] KDEVIR at ImageCLEF 2014 Scalable Concept Image Annotation Task: Ontology-based Automatic Image Annotation (2014)
  • 著者名/発表者名: Ismat Ara Reshma, Md Zia Ullah, and Masaki Aono
  • 学会等名: Working Notes for CLEF2014 Conference
  • 発表場所: Sheffield, UK
  • 年月日: 2014-09-15 – 2014-09-18
• [学会発表] 単語位置と強弱表現に着目したツイートの感情分析 (2014)
  • 著者名/発表者名: 三和未佐希, 立間淳司, 青野雅樹
  • 学会等名: 第13回情報科学技術フォーラム (FIT2014)
  • 発表場所: 筑波大学
  • 年月日: 2014-09-04
• [学会発表] 株式掲示板を用いた投稿数のバースト発生時における株価・株式関連指標動向の予測 (2014)
  • 著者名/発表者名: 桜田亮太,青野雅樹
  • 学会等名: 第13回情報科学技術フォーラム (FIT2014)
  • 発表場所: 筑波大学
  • 年月日: 2014-09-03
• [学会発表] 地理情報を埋込んだ画像特徴量に基づく写真画像の位置情報推定 (2014)
  • 著者名/発表者名: Pav Vanna, 青野雅樹, 立間淳司
  • 学会等名: 第13回情報科学技術フォーラム (FIT2014)
  • 発表場所: 筑波大学
  • 年月日: 2014-09-03
• [学会発表] Query Subtopic Mining for Search Result Diversification (2014)
  • 著者名/発表者名: Md Zia Ullah, Masaki Aono
  • 学会等名: The 2014 International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA 2014)
  • 発表場所: Bandung, Indonesia
  • 年月日: 2014-08-20 – 2014-08-22
• [学会発表] Ontology based Classification for Multi-label Image Annotation (2014)
  • 著者名/発表者名: Ismat Ara Reshma, Md Zia Ullah, Masaki Aono
  • 学会等名: International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA 2014)
  • 発表場所: Bandung, Indonesia
  • 年月日: 2014-08-20 – 2014-08-22
• [学会発表] Ontology based Supervised Learning for Image Annotation (2014)
  • 著者名/発表者名: Ismat Ara Reshma, Md Zia Ullah, Masaki Aono
  • 学会等名: 電子情報通信学会 画像工学研究会
  • 発表場所: 千葉工業大学
  • 年月日: 2014-08-01
• [備考] 知識データ工学・情報検索研究室 研究業績
  • URL: http://www.kde.cs.tut.ac.jp/publications/?preview=true&preview_id=15&preview_nonce=b8cacb0cb4
• [産業財産権] 三次元モデル検索方法及び三次元モデル検索システム (2017)
  • 発明者名: 青野雅樹、小林祐輝
  • 権利者名: 青野雅樹、小林祐輝
  • 産業財産権種類: 特許
  • 産業財産権番号: 2017-029425
  • 出願年月日: 2017-02-20
• [産業財産権] 画像特徴量及びそれを用いる三次元形状検索システム (2017)
  • 発明者名: 立間淳司、小林将也、青野雅樹
  • 権利者名: 立間淳司、小林将也、青野雅樹
  • 産業財産権種類: 特許
  • 産業財産権番号: 2017-042156
  • 出願年月日: 2017-03-06
• [産業財産権] 画像認識装置、画像認識方法、及び画像認識プログラム (2016)
  • 発明者名: 立間淳司、青野雅樹
  • 権利者名: 立間淳司、青野雅樹
  • 産業財産権種類: 特許
  • 産業財産権番号: 2016-008273
  • 出願年月日: 2016-01-19
• [産業財産権] 三次元モデル検索システム、及び三次元モデル検索方法 (2014)
  • 発明者名: 青野雅樹、立間淳司
  • 権利者名: 青野雅樹、立間淳司
  • 産業財産権種類: 特許
  • 産業財産権番号: 2014-088578
  • 出願年月日: 2014-04-04