マルチモーダルな観察データに基づく動植物鑑定システム

• 研究課題/領域番号: 15K12027
• 研究種目: 挑戦的萌芽研究
• 配分区分: 基金
• 研究分野: マルチメディア・データベース
• 研究機関: 豊橋技術科学大学
• 研究代表者: 青野 雅樹 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)
• 研究期間 (年度): 2015-04-01 – 2018-03-31
• 研究課題ステータス: 完了 (2017年度)
• 配分額: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円); 2017年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2016年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2015年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
• キーワード: 植物鑑定 / 深層学習 / 画像特徴量 / 端数型プーリング / ノイズ有訓練データ / 双線形フィルタ / データ圧縮

研究成果の概要

インターネット上に投稿された植物写真画像から、その学名を鑑定することを目的とした国際コンテストPlantCLEFに研究期間2年目から参加し、2016年に世界第一位、2017年も、「雑音を含む訓練データ」トラックで世界第一位、全体で世界第二位を獲得した。技術的には、撮影場所や時間などのメターデータ特徴量に加え、Fisher vector等の伝統的な特徴量と、深層学習の畳込み層や多層パーセプトロン層の特徴量を混合することで精度向上に成功した。また、端数型プーリング法を開発し、正方形画像だけでなく任意の矩形画像での畳込みを可能とした。

研究成果

• [雑誌論文] Super-vector coding features extracted from both depth buffer and view-normal-angle images for part-based 3D shape retrieval (2017)
  • 著者名/発表者名: Ｓhoki Tashiro, Atsushi Tatsuma, and Masaki Aono
  • 雑誌名: Multimedia Tools and Applications 巻: 76 号: 21 ページ: 22059-22076
  • DOI: 10.1007/s11042-017-4801-z
  • 査読あり / 国際共著
• [雑誌論文] Volumetric Spiral Scan Orderによる三次元考古遺物モデルの類似検索 (2017)
  • 著者名/発表者名: 濵田和真,立間淳司, 青野雅樹
  • 雑誌名: 情報処理学会論文誌 巻: 10 ページ: 1-7
  • NAID: 170000148699
  • 査読あり
• [雑誌論文] Microblog Retrieval Using Ensemble of Feature Sets through Supervised Feature Selection (2017)
  • 著者名/発表者名: Abu Nowshed Chy, Md Zia Ullah and Masaki Aono
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E100.D 号: 4 ページ: 793-806
  • DOI: 10.1587/transinf.2016DAP0032
  • NAID: 130005529887
  • ISSN: 0916-8532, 1745-1361
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [雑誌論文] Bi-linearly weighted fractional max pooling (2017)
  • 著者名/発表者名: Siang Thye Hang and Masaki Aono
  • 雑誌名: Multimedia Tools and Applications 巻: 76 号: 21 ページ: 22095-22117
  • DOI: 10.1007/s11042-017-4840-5
  • 査読あり / 国際共著
• [雑誌論文] Shape Retrieval of Non-rigid 3D Human Models (2016)
  • 著者名/発表者名: D.Pickup, X.Sun, P.L.Rosin, R.R.Martin, Z.Cheng, Z.Lian, Masaki Aono
  • 雑誌名: International Journal of Computer Vision 巻: 120 号: 2 ページ: 169-193
  • DOI: 10.1007/s11263-016-0903-8
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] A Bipartite Graph-Based Ranking Approach to Query Subtopics Diversification Focused on Word Embedding Features (2016)
  • 著者名/発表者名: Md Zia Ullah and Masaki Aono
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E99.D 号: 12 ページ: 3090-3100
  • DOI: 10.1587/transinf.2016EDP7190
  • NAID: 130005170962
  • ISSN: 0916-8532, 1745-1361
  • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
• [雑誌論文] Food Image Recognition Using Covariance of Convolutional Layer Feature Maps (2016)
  • 著者名/発表者名: Atsushi Tatsuma and Masaki Aono
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E99.D 号: 6 ページ: 1711-1715
  • DOI: 10.1587/transinf.2015EDL8212
  • NAID: 130005154713
  • ISSN: 0916-8532, 1745-1361
  • 査読あり / オープンアクセス
• [雑誌論文] Retrieval and classification methods for textured 3D models: A comparative study (2016)
  • 著者名/発表者名: S. Biasotti, A. Cerri, Masaki Aono, A. Ben Hamza, V. Garro, A. Giachetti, D. Giorgi, A. Godil, C. Li , Chika Sanada, M. Spagnuolo, Atsushi Tatsuma, S. Velasco-Forero
  • 雑誌名: Visual Computer 巻: 32 号: 2 ページ: 217-241
  • DOI: 10.1007/s00371-015-1146-3
  • 査読あり / 国際共著
• [雑誌論文] Estimating a Ranked List of Human Genetic Diseases by Associating Phenotype-Gene with Gene-Disease Bipartite Graphs (2015)
  • 著者名/発表者名: Md Zia Ullah, Masaki Aono, Md Hanif Seddiqui
  • 雑誌名: ACM Transactions on Intelligent Systems and Technology 巻: 6 号: 4 ページ: 1-21
  • DOI: 10.1145/2700487
  • 査読あり / 国際共著
• [学会発表] 画像へのマルチタグとそれらの重要度の自動付与 (2018)
  • 著者名/発表者名: 杉山裕哉, 青野雅樹
  • 学会等名: 第10回データ工学と情報マネジメントに関するフォーラム(DEIM2018)
• [学会発表] 局所特徴量を用いた3D CNNによる3 次元モデルの部分検索 (2018)
  • 著者名/発表者名: 岩淵渉, 青野雅樹
  • 学会等名: 第10回データ工学と情報マネジメントに関するフォーラム(DEIM2018)
• [学会発表] ボクセル群の奥行き密度反映した画像による屋内3Dシーン分類 (2018)
  • 著者名/発表者名: 濵田和真, 青野雅樹
  • 学会等名: パターン認識・メディア理解研究会（PRMU2017-204 (2018-3)）
• [学会発表] エッジと輝度反転に着目した特徴量とCNN特徴量を用いたマンガ画像の著者推定 (2018)
  • 著者名/発表者名: 竹ノ内達哉, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
• [学会発表] Sliced Voxel Representations with LSTM and CNN for 3D Shape Recognition (2017)
  • 著者名/発表者名: Ryo Miyagi and Masaki Aono
  • 学会等名: Asia Pacific Signal and Information Processing Association (APSIPA2017)
  • 国際学会
• [学会発表] Residual Network with Delayed Max Pooling for Very Large Scale Plant Identification (2017)
  • 著者名/発表者名: Siang Thye Hang and Masaki Aono
  • 学会等名: LifeCLEF 2017 Workshop in Conference and Labs of the Evaluation Forum (CLEF2017)
  • 国際学会
• [学会発表] An Attention-based Regression Model for Grounding Textual Phrases in Images (2017)
  • 著者名/発表者名: Ko Endo, Masaki Aono, Eric Nichols, Kotarou Funakoshi
  • 学会等名: International Joint Conference on Artificial Intelligence (IJCAI2017)
  • 国際学会
• [学会発表] Predicting the Usefulness of Cosmetic Reviews (2017)
  • 著者名/発表者名: Yuri Takashima and Masaki Aono
  • 学会等名: International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA2017)
  • 国際学会
• [学会発表] Tweet Polarity Classification Focused on Positive and Negative Term Frequency Ratio (2017)
  • 著者名/発表者名: Shinnosuke Himeno and Masaki Aono
  • 学会等名: International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA2017)
  • 国際学会
• [学会発表] Point-Cloud Shape Retrieval of Non-Rigid Toys (2017)
  • 著者名/発表者名: Limberger, F. A. and Aono, M. et al.
  • 学会等名: Eurographics Workshop on 3D Object Retrieval
  • 国際学会
• [学会発表] RGB-D to CAD Retrieval with ObjectNN Dataset (2017)
  • 著者名/発表者名: Binh-Son Hua, Asako Kanezaki, Bo Li, Yijuan Lu, Shoki Tashiro, Masaki Aono, et al.
  • 学会等名: Eurographics Workshop on 3D Object Retrieval
  • 国際学会
• [学会発表] Large-Scale 3D Shape Retrieval from ShapeNet Core55 (2017)
  • 著者名/発表者名: Manolis Savva, Asako Kanezaki, Takahiko Furuya, Ryutarou Ohbuchi, Masaki Aono, Atsushi Tatsuma, S. Thermos, A. Axenopoulos, G. Th. Papadopoulos, P. Daras, Xiao Deng, Zhouhui Lian, Bo Li, st al.
  • 学会等名: Eurographics Workshop on 3D Object Retrieval
  • 国際学会
• [学会発表] Deep Spatio-Temporal Transformationを用いた逐次人物動作検出 (2017)
  • 著者名/発表者名: 髙垣幸秀, 青野雅樹
  • 学会等名: パターン認識・メディア理解研究会（PRMU 2017-68)
• [学会発表] 異方性を考慮した画像の符号化に基づく時系列データ分類 (2017)
  • 著者名/発表者名: 岩室伸哉, 青野雅樹
  • 学会等名: パターン認識・メディア理解研究会（PRMU 2017-56)
• [学会発表] 単語と文の分散表現素性に着目したニュースストリームに対する文単位の新規性判定 (2017)
  • 著者名/発表者名: 田村壮慶, 青野雅樹, 立間淳司
  • 学会等名: 第16回情報科学技術フォーラム(FIT2017)
• [学会発表] 単語分散表現と文法的な表現に着目したカスタマーレビューの観点ごとの評価値推定 (2017)
  • 著者名/発表者名: 大塚 達也, 青野雅樹
  • 学会等名: DEIM2017 (第9回データ工学と情報マネジメントに関するフォーラム）
  • 発表場所: 高山グリーンホテル, 岐阜県
• [学会発表] LSTMとCNNを用いたボクセル表現に基づく三次元形状類似検索手法の提案 (2017)
  • 著者名/発表者名: 宮城諒, 青野雅樹
  • 学会等名: パターン認識・メディア理解(PRMU)研究会
  • 発表場所: 名城大学, 愛知県
• [学会発表] Bluefield (KDE TUT) at LifeCLEF 2016 Plant Identification Task (2016)
  • 著者名/発表者名: Siang Thye Hang, Atsushi Tatsuma, and Masaki Aono
  • 学会等名: CLEF2016
  • 発表場所: University of Évora, Portugal
  • 年月日: 2016-09-05
  • 国際学会
• [学会発表] 画像内領域の顕著性を考慮した画像の説明文生成 (2016)
  • 著者名/発表者名: 吉井和輝, Eric Nichols, 船越孝太郎, 中野幹生, 青野雅樹
  • 学会等名: 電子情報通信学会パターン認識・メディア理解研究会
  • 発表場所: 産業総合研究所(臨海副都心センター)
  • 年月日: 2016-03-24
• [学会発表] 時間軸を考慮した特徴量の提案とそれを用いた動画分類 (2016)
  • 著者名/発表者名: 髙垣幸秀, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 九州大学伊都キャンパス
  • 年月日: 2016-03-16
• [学会発表] 重要単語からなる料理テキストと料理画像のマルチモーダル特徴量を用いた料理名推定 (2016)
  • 著者名/発表者名: 小田将規, 青野雅樹
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 九州大学伊都キャンパス
  • 年月日: 2016-03-15
• [学会発表] Authorship Identification focused on Sentence and Document Based Features (2016)
  • 著者名/発表者名: Shofi Nur Fathiya and Masaki Aono
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 九州大学伊都キャンパス
  • 年月日: 2016-03-15
• [学会発表] 色付き三次元物体の類似検索 (2016)
  • 著者名/発表者名: 真田知佳，立間淳司，青野雅樹
  • 学会等名: 情報処理学会第78回全国大会
  • 発表場所: 慶応大学矢上キャンパス
  • 年月日: 2016-03-10
• [学会発表] 顕著性マップを用いた画像の説明文自動生成 (2016)
  • 著者名/発表者名: 吉井和輝, エリック・ニコルズ, 船越孝太郎, 中野幹生, 青野雅樹
  • 学会等名: 人工知能学会全国大会
  • 発表場所: 北九州国際会議センター
• [学会発表] テキストクエリで指定した画像中の領域を特定する一手法 (2016)
  • 著者名/発表者名: 遠藤 昂, 船越孝太郎, エリック・ニコルズ, 青野雅樹
  • 学会等名: 電子情報通信学会 画像工学研究会
  • 発表場所: 福岡大学
• [学会発表] Open World Plant Image Identification Based on Convolutional Neural Network (2016)
  • 著者名/発表者名: Siang Thye Hang and Masaki Aono
  • 学会等名: Asia Pacific Signal and Information Processing Association (APSIPA2016)
  • 発表場所: Jeju, Korea
  • 国際学会
• [学会発表] Query Subtopic Mining Exploiting Word Embedding for Search Result Diversification (2016)
  • 著者名/発表者名: Md. Zia Ullah, Md. Shajalal, Abu Nowshed Chy, and Masaki Aono
  • 学会等名: Asia Information Retrieval Societies Conference (AIRS2016)
  • 発表場所: Beijing, China
  • 国際学会
• [学会発表] 3D Shape Retrieval from a Photo Using Intrinsic Image (2015)
  • 著者名/発表者名: Shoki Tashiro and Masaki Aono
  • 学会等名: Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA2015)
  • 発表場所: Hong Kong
  • 年月日: 2015-12-19
  • 国際学会
• [学会発表] 文法的な表現を手がかりとした宿泊施設レビュー文の意見分類 (2015)
  • 著者名/発表者名: 大塚達也, 立間淳司, 青野雅樹
  • 学会等名: 第14回情報科学技術フォーラム (FIT2015)
  • 発表場所: 愛媛大学
  • 年月日: 2015-09-17
• [学会発表] 料理レシピサイトから抽出される特徴に基づいた調理時間予測 (2015)
  • 著者名/発表者名: 阿部卓也, 立間淳司, 青野雅樹
  • 学会等名: 第14回情報科学技術フォーラム (FIT2015)
  • 発表場所: 愛媛大学
  • 年月日: 2015-09-16
• [学会発表] Combining Temporal and Content Aware Features for Microblog Retrieval (2015)
  • 著者名/発表者名: Abu Nowshed Chy, Md Zia Ullah and Masaki Aono
  • 学会等名: The 2015 International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA 2015)
  • 発表場所: Bang Saen Beach, Chonburi, Thailand
  • 年月日: 2015-08-20
  • 国際学会
• [学会発表] New Composite Shape and Texture Descriptors for 3D Model Retrieval (2015)
  • 著者名/発表者名: Hero Yudo Martono, Masaki Aono
  • 学会等名: 4th International Conference on Computing and Computer Vision (ICCCV2015)
  • 発表場所: Hong Kong
  • 年月日: 2015-06-23
• [学会発表] Time and Context Aware Re-ranker for Microblog Retrieval (2015)
  • 著者名/発表者名: Chy Abu Nowshed, Ullah Md Zia, 青野 雅樹
  • 学会等名: 人工知能学会全国大会
  • 発表場所: はこだて未来大学
  • 年月日: 2015-05-31
• [学会発表] 日本語単語ベクトルの構築とその評価 (2015)
  • 著者名/発表者名: 吉井和輝，ニコルズエリック，中野 幹生, 青野 雅樹
  • 学会等名: 情報処理学会第221回自然言語処理研究会
  • 発表場所: 東北大学
  • 年月日: 2015-05-25
• [産業財産権] 三次元画像分類装置および三次元画像分類方法 (2018)
  • 発明者名: 濵田和真、青野雅樹
  • 権利者名: 濵田和真、青野雅樹
  • 産業財産権種類: 特許
  • 産業財産権番号: 2018-046791
  • 出願年月日: 2018
• [産業財産権] 検出装置および検出方法 (2017)
  • 発明者名: 髙垣幸秀、青野雅樹
  • 権利者名: 髙垣幸秀、青野雅樹
  • 産業財産権種類: 特許
  • 産業財産権番号: 2017-197694
  • 出願年月日: 2017
• [産業財産権] 三次元モデル検索方法及び三次元モデル検索システム (2017)
  • 発明者名: 小林祐輝、青野雅樹
  • 権利者名: 小林祐輝、青野雅樹
  • 産業財産権種類: 特許
  • 産業財産権番号: 2017-029425
  • 出願年月日: 2017-02-20
• [産業財産権] 画像特徴量及びそれを用いる三次元形状検索システム (2017)
  • 発明者名: 立間淳司、小林将也、青野雅樹
  • 権利者名: 立間淳司、小林将也、青野雅樹
  • 産業財産権種類: 特許
  • 産業財産権番号: 2017-042156
  • 出願年月日: 2017-03-06
• [産業財産権] 画像認識装置、画像認識方法、及び画像認識プログラム (2016)
  • 発明者名: 立間淳司、青野雅樹
  • 権利者名: 立間淳司、青野雅樹
  • 産業財産権種類: 特許
  • 産業財産権番号: 2016-008273
  • 出願年月日: 2016-01-19