• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Research-status Report

マルチモーダルな観察データに基づく動植物鑑定システム

Research Project

Project/Area Number 15K12027
Research InstitutionToyohashi University of Technology

Principal Investigator

青野 雅樹  豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)

Project Period (FY) 2015-04-01 – 2018-03-31
Keywords画像特徴量 / 深層学習 / データ圧縮
Outline of Annual Research Achievements

初年度実績として植物鑑定タスクに絞り特徴量抽出を行った。対象とする植物画像データは、植物鑑定の国際コンテスト(PlantCLEF)から入手した。データは約11万3000画像(1000種類の植物)で、内訳は枝、葉、花、果実、樹皮のような多様な画像データの混合であり、多くは背景に他の風景がノイズとして含まれる。専門家でも画像だけでは見間違えるほど似通った画像が多く、挑戦的な研究である。成果概要は以下の通り。
【項目1:動植物鑑定向き特徴量抽出とマルチモーダル化】抽出した特徴量には画像に含まれる輪郭や形状の位置情報がある程度取れる特徴量としてHOG特徴量とFisherベクトル特徴量の2つを組み合わせ、確率論的な鑑定方法を開発した。また、深層学習で利用される畳込みニューラルネットワーク特徴量に関しても比較・提案の両面から調査を行った。マルチモーダル化に関しては、画像への注釈文自動付与に関する実験を行った。
【項目2: 世界最高レベルの鑑定性能に向けた技術開発】ターゲットとしている国際コンテストPlantCLEFにおいて過去2年間の世界最高精度達成者が深層学習をベースにしていたことを鑑み、VGG 16-layerの畳込みニューラルネットを改良する手法で世界最高レベルの鑑定性能を目指した。結果として2015年度のPlanCLEFの世界最高性能を上回ることを確認した。
【項目3: 特徴量次元・パラメータ数の圧縮と実用化に向けた技術開発】VGGに代表される多層の畳込みニューラルネットワークでは、出力部分を含む最後の数層に全結合ニューラルネットワークを配備するため、パラメータ数が爆発的に増加する問題がある。この問題に対応するため、全結合ニューラルネットワークをやめ、空間ピラミッド手法で置き換えた。これにより、パラメータ数もメモリサイズも40%以上圧縮することができた。また精度向上も達成できた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

【項目1】植物画像からの特徴量抽出はHOG, Fisherベクトルなどのハンドクラフト方式のアプローチと、深層学習に基づく畳み込みニューラルネットワーク特徴量との双方からのアプローチで取り組むことができた。一方、画像に注釈文を与えるアプローチでは顕著領域を利用して、高い精度で注釈文を付与することができ、背景と鑑定対象の植物が分離できれば、分類と注釈によるメタデータ付与というマルチモーダル化の道筋をつけることができた。
【項目2】鑑定性能に関しては、PlantCLEF2015の国際コンテストを同じデータで優勝者の精度を上回ることができたので、予定通りの成果が出たと判定した。
【項目3】【項目2】を重視する場合、パラメータ数や特徴量の次元数が増えて圧縮しにくいのが通常であるが、VGGの16-layerモデルの畳み込みネットワークで、全結合層を取り去り、これを空間ピラミッド型に改良することで、パラメータの減少に成功した。同時に高い精度をキープできた。

Strategy for Future Research Activity

【項目1】植物の鑑定では、専門化でも細粒度で鑑定が難しい種類を判定できる技術の開発が必要である。更に背景にノイズが多い画像の場合、「顕著領域」や「アテンションモデル」などの技術の導入で、画像内のどこに鑑定対象があるか、また、それらに適切な注釈文を付与する技術の開発を行うことで、質問応答等、応用技術にも焦点を当てる予定である。マルチモーダル化に関しては、画像による特徴量抽出の洗練化とテキストによる精度の高い注釈の付与をメインターゲットとする。さらに、撮影場所の位置情報や、動きのある動物の鑑定に向けた他のモーダル情報に関しても対応できるよう技術的な検討を行う予定である。
【項目2】植物の鑑定で、世界最高レベルの性能を出すには、畳み込みニューラルネットワークでの深層学習だけでなく、そもそも植物ですらない画像を混在させ、多ノイズ環境下であってもロバストに鑑定できる技術を開発することを目指す。また、精度の出にくい「樹皮」画像に関しては、混在する画像から樹皮画像のみを検出するフィルタの開発を目指す。
【項目3】実用化を考慮する。そのため、前項であげている鑑定精度は最優先で維持するが、検索速度を上げるため、インデックスの圧縮や、多様な鑑定手段(注釈や意味的に類似する言葉や位置情報などから鑑定)に対応できる技術開発を目指す。

  • Research Products

    (16 results)

All 2016 2015

All Journal Article (3 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 3 results) Presentation (12 results) (of which Int'l Joint Research: 2 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Food Image Recognition using Covariance of Convolutional Layer Feature Maps2016

    • Author(s)
      Atsushi Tatsuma and Masaki Aono
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E99-D Pages: 1,4

    • DOI

      http://dx.doi.org/10.1587/transinf.2015EDL8212

    • Peer Reviewed
  • [Journal Article] Retrieval and classification methods for textured 3D models: A comparative study2016

    • Author(s)
      S. Biasotti, A. Cerri, Masaki Aono, A. Ben Hamza, V. Garro, A. Giachetti, D. Giorgi, A. Godil, C. Li , Chika Sanada, M. Spagnuolo, Atsushi Tatsuma, S. Velasco-Forero
    • Journal Title

      Visual Computer

      Volume: 32 Pages: 217,241

    • DOI

      http://dx.doi.org/10.1007/s00371-015-1146-3

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Estimating a Ranked List of Human Genetic Diseases by Associating Phenotype-Gene with Gene-Disease Bipartite Graphs2015

    • Author(s)
      Md Zia Ullah, Masaki Aono, Md Hanif Seddiqui
    • Journal Title

      ACM Transactions on Intelligent Systems and Technology

      Volume: 6 Pages: 56:1,21

    • DOI

      http://dx.doi.org/10.1145/2700487

    • Peer Reviewed / Int'l Joint Research
  • [Presentation] 画像内領域の顕著性を考慮した画像の説明文生成2016

    • Author(s)
      吉井和輝, Eric Nichols, 船越孝太郎, 中野幹生, 青野雅樹
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      産業総合研究所(臨海副都心センター)
    • Year and Date
      2016-03-24
  • [Presentation] 時間軸を考慮した特徴量の提案とそれを用いた動画分類2016

    • Author(s)
      髙垣幸秀, 青野雅樹
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      九州大学伊都キャンパス
    • Year and Date
      2016-03-16
  • [Presentation] 重要単語からなる料理テキストと料理画像のマルチモーダル特徴量を用いた料理名推定2016

    • Author(s)
      小田将規, 青野雅樹
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      九州大学伊都キャンパス
    • Year and Date
      2016-03-15
  • [Presentation] Authorship Identification focused on Sentence and Document Based Features2016

    • Author(s)
      Shofi Nur Fathiya and Masaki Aono
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      九州大学伊都キャンパス
    • Year and Date
      2016-03-15
  • [Presentation] 色付き三次元物体の類似検索2016

    • Author(s)
      真田知佳,立間淳司,青野雅樹
    • Organizer
      情報処理学会第78回全国大会
    • Place of Presentation
      慶応大学矢上キャンパス
    • Year and Date
      2016-03-10
  • [Presentation] 3D Shape Retrieval from a Photo Using Intrinsic Image2015

    • Author(s)
      Shoki Tashiro and Masaki Aono
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA2015)
    • Place of Presentation
      Hong Kong
    • Year and Date
      2015-12-19
    • Int'l Joint Research
  • [Presentation] 文法的な表現を手がかりとした宿泊施設レビュー文の意見分類2015

    • Author(s)
      大塚達也, 立間淳司, 青野雅樹
    • Organizer
      第14回情報科学技術フォーラム (FIT2015)
    • Place of Presentation
      愛媛大学
    • Year and Date
      2015-09-17
  • [Presentation] 料理レシピサイトから抽出される特徴に基づいた調理時間予測2015

    • Author(s)
      阿部卓也, 立間淳司, 青野雅樹
    • Organizer
      第14回情報科学技術フォーラム (FIT2015)
    • Place of Presentation
      愛媛大学
    • Year and Date
      2015-09-16
  • [Presentation] Combining Temporal and Content Aware Features for Microblog Retrieval2015

    • Author(s)
      Abu Nowshed Chy, Md Zia Ullah and Masaki Aono
    • Organizer
      The 2015 International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA 2015)
    • Place of Presentation
      Bang Saen Beach, Chonburi, Thailand
    • Year and Date
      2015-08-20
    • Int'l Joint Research
  • [Presentation] New Composite Shape and Texture Descriptors for 3D Model Retrieval2015

    • Author(s)
      Hero Yudo Martono, Masaki Aono
    • Organizer
      4th International Conference on Computing and Computer Vision (ICCCV2015)
    • Place of Presentation
      Hong Kong
    • Year and Date
      2015-06-23
  • [Presentation] Time and Context Aware Re-ranker for Microblog Retrieval2015

    • Author(s)
      Chy Abu Nowshed, Ullah Md Zia, 青野 雅樹
    • Organizer
      人工知能学会全国大会
    • Place of Presentation
      はこだて未来大学
    • Year and Date
      2015-05-31
  • [Presentation] 日本語単語ベクトルの構築とその評価2015

    • Author(s)
      吉井和輝,ニコルズエリック,中野 幹生, 青野 雅樹
    • Organizer
      情報処理学会第221回自然言語処理研究会
    • Place of Presentation
      東北大学
    • Year and Date
      2015-05-25
  • [Patent(Industrial Property Rights)] 画像認識装置、画像認識方法、及び画像認識プログラム2016

    • Inventor(s)
      立間淳司、青野雅樹
    • Industrial Property Rights Holder
      立間淳司、青野雅樹
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2016-008273
    • Filing Date
      2016-01-19

URL: 

Published: 2017-01-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi