• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

ものの質感を画像を元に認識するシステムの実現

Publicly Offered Research

Project AreaIntegrative studies of neural mechanisms and advanced information technologies for perception of material and surface qualities
Project/Area Number 25135701
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Complex systems
Research InstitutionTohoku University

Principal Investigator

岡谷 貴之  東北大学, 情報科学研究科, 教授 (00312637)

Project Period (FY) 2013-04-01 – 2015-03-31
Project Status Completed (Fiscal Year 2014)
Budget Amount *help
¥12,350,000 (Direct Cost: ¥9,500,000、Indirect Cost: ¥2,850,000)
Fiscal Year 2014: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2013: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Keywords画像認識 / コンピュータビジョン / 質感 / 材質認識 / ディープニューラルネットワーク / 反射成分 / 物理ベースビジョン / 物体表面の質感 / 質感の画像認識 / 画像特徴 / ディープラーニング
Outline of Annual Research Achievements

本年度は,質感認識の新しい手法を実現すべく,ディープラーニングを用いて質感および物体の材質カテゴリーを認識する方法を中心に,以下に述べるような研究を行った.
まず,前年度構築したシステムと学習用データセットを利用して,多層畳込みニューラルネットの訓練を行い,結果を評価した.質感認識については,13の質感を表す形容詞に関する画像ペア間の順序情報を,各形容詞につき1000件程度,被験者を集めて収集し,新しいデータセットを構築した.以前われわれは,ニューラルネットを用いない方法で画像から取り出した特徴を,サポートベクトルマシンでランキングする方法を提案していた.本計画で新たに,物体認識用に訓練された畳込みニューラルネットを使って,それが画像から取り出す特徴量を代わりに用いて同様の実験を行った.その結果は,われわれが以前得ていた結果を相当上回り,ペアの順序の予測精度で10%程度向上し,トータルで90%前後の質感の認識性能を達成することが分かった.
次に,ディープ畳込みニューラルネットワークをマテリアル認識へ応用し,特に既存のデータセットFlickr Material Databse(FMD)での認識精度向上を図った.具体的には,ネットワークのモデルの検討と,転移学習やデータ拡張などの様々な手法の組み合わせを検討し,性能評価実験を繰り返し行なった.その結果,単一モデルで75%程度の認識精度を達成できた.
さらに,質感認識の核でもある反射成分の物理的な分離手法の検討を行った.非負値行列分解を用いることで,従来法よりも高精度に分離が行えることを示した.同成果は国際会議ACCV2014にて発表し,Best Student Paper賞を受賞した.

Research Progress Status

26年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

26年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2014 Annual Research Report
  • 2013 Annual Research Report
  • Research Products

    (22 results)

All 2015 2014 2013 Other

All Journal Article (6 results) (of which Peer Reviewed: 5 results,  Acknowledgement Compliant: 2 results,  Open Access: 1 results) Presentation (14 results) (of which Invited: 11 results) Book (2 results)

  • [Journal Article] Possibility to Use Product Image and Review Text Based on the Association between Onomatopoeia and Texture2015

    • Author(s)
      土斐崎龍一,飯場咲紀,岡谷貴之,坂本真樹
    • Journal Title

      Transactions of the Japanese Society for Artificial Intelligence

      Volume: 30 Issue: 1 Pages: 124-137

    • DOI

      10.1527/tjsai.30.124

    • NAID

      130004927383

    • ISSN
      1346-0714, 1346-8030
    • Related Report
      2014 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Separation of Reflection Components by Sparse Non-negative Matrix Factorization2014

    • Author(s)
      Akashi Yasuhiro and Takayuki Okatani
    • Journal Title

      Proceedings of Asian Conference on Computer Vision

      Volume: 5 Pages: 611-625

    • DOI

      10.1007/978-3-319-16814-2_40

    • ISBN
      9783319168135, 9783319168142
    • Related Report
      2014 Annual Research Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Understanding Convolutional Neural Networks in Terms of Category-level Attributes2014

    • Author(s)
      Makoto Ozeki and Takayuki Okatani
    • Journal Title

      Proceedings of Asian Conference on Computer Vision

      Volume: 2 Pages: 362-375

    • DOI

      10.1007/978-3-319-16808-1_25

    • ISBN
      9783319168074, 9783319168081
    • Related Report
      2014 Annual Research Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Discrete Maximum Posterior Marginal Inference for Non- uniformly Discretized Variable Space2013

    • Author(s)
      Masaki Saito, Takayuki Okatani, and Koichiro Deguchi
    • Journal Title

      Proceedings of IEEE Conference on Computer Vision and Pattern Recognition

      Volume: 1 Pages: 57-64

    • DOI

      10.1109/cvpr.2013.15

    • Related Report
      2013 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Product Recommendation Method based on Onomatopoeia Expressing Texture2013

    • Author(s)
      Ryuichi Doizaki, Saki Iiba, Takashi Abe, Takayuki Okatani, Maki Sakamoto
    • Journal Title

      Proceedings of the 2nd Asian Conference on Information Systems

      Volume: 1 Pages: 610-617

    • Related Report
      2013 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 画像認識のための深層学習(連載解説「Deep Learning(深層学習)」第4回)2013

    • Author(s)
      岡谷貴之
    • Journal Title

      人工知能学会誌

      Volume: 28 Pages: 962-974

    • Related Report
      2013 Annual Research Report
  • [Presentation] 質感の画像認識:研究の状況と今後の課題2015

    • Author(s)
      岡谷貴之
    • Organizer
      電子情報通信学会PRMU研究会
    • Place of Presentation
      奈良
    • Year and Date
      2015-01-23
    • Related Report
      2014 Annual Research Report
    • Invited
  • [Presentation] Convolutional Neural Networks and Applications to Computer Vision2014

    • Author(s)
      Takayuki Okatani
    • Organizer
      Joint 7th International Conference on Soft Computing and Intelligent Systems and 15th International Symposium on Advanced Intelligent Systems
    • Place of Presentation
      Kitakyushu
    • Year and Date
      2014-12-03
    • Related Report
      2014 Annual Research Report
    • Invited
  • [Presentation] サル下側頭葉皮質から記録した皮質脳波を用いた素材カテゴリーのデコーディング2014

    • Author(s)
      寺本 傑,川嵜 圭祐,岡谷 貴之,澤畑 博人,鈴木 隆文,長谷川 功
    • Organizer
      第37回日本神経科学大会
    • Place of Presentation
      横浜
    • Year and Date
      2014-09-11
    • Related Report
      2014 Annual Research Report
  • [Presentation] Empirical Evaluation of Recent Object Recognition Methods for the Task of Material Category Recognition2014

    • Author(s)
      Takayuki Okatani and Masaki Saito
    • Organizer
      Future of Shitsukan Research 2014
    • Place of Presentation
      Tokyo
    • Year and Date
      2014-07-16
    • Related Report
      2014 Annual Research Report
  • [Presentation] ディープラーニングの画像認識応用:一般物から材質の認識まで2014

    • Author(s)
      岡谷貴之
    • Organizer
      計測・制御・システム工学部会シンポジウム(制御技術部会共催)「官能・目視検査の自動化技術とビッグデータ活用」
    • Place of Presentation
      呉
    • Year and Date
      2014-06-18
    • Related Report
      2014 Annual Research Report
    • Invited
  • [Presentation] What is learned by convolutional neural networks for object recognition tasks?2014

    • Author(s)
      Takayuki Okatani
    • Organizer
      NII Shonan Meeting (Deep Learning)
    • Place of Presentation
      Shonan
    • Year and Date
      2014-05-22
    • Related Report
      2014 Annual Research Report
    • Invited
  • [Presentation] ディープラーニングと画像認識

    • Author(s)
      岡谷貴之
    • Organizer
      応用数理学会機械学習研究部会
    • Place of Presentation
      東京工業大学
    • Related Report
      2013 Annual Research Report
    • Invited
  • [Presentation] ディープラーニングとは何なのか:画像認識への応用を主とした議論

    • Author(s)
      岡谷貴之
    • Organizer
      和歌山大学システム工学部講演会
    • Place of Presentation
      和歌山大学
    • Related Report
      2013 Annual Research Report
    • Invited
  • [Presentation] ディープラーニングと画像認識への応用

    • Author(s)
      岡谷貴之
    • Organizer
      画像センシングシンポジウム
    • Place of Presentation
      横浜
    • Related Report
      2013 Annual Research Report
    • Invited
  • [Presentation] ディープラーニングの画像認識

    • Author(s)
      岡谷貴之
    • Organizer
      医用画像研究会
    • Place of Presentation
      東北大学
    • Related Report
      2013 Annual Research Report
    • Invited
  • [Presentation] Discrete Maximum Posterior Marginal Inference for Non-uniformly Discretized Variable Space

    • Author(s)
      Masaki Saito, Takayuki Okatani, and Koichiro Deguchi
    • Organizer
      画像の認識・理解シンポジウム
    • Place of Presentation
      東京
    • Related Report
      2013 Annual Research Report
    • Invited
  • [Presentation] ディープラーニングの画像認識への応用

    • Author(s)
      岡谷貴之
    • Organizer
      情報・数物研究会講演会
    • Place of Presentation
      東北大学
    • Related Report
      2013 Annual Research Report
    • Invited
  • [Presentation] 画像認識分野でのディープラーニングの研究動向

    • Author(s)
      岡谷貴之
    • Organizer
      情報論学習理論ワークショップ
    • Place of Presentation
      東京
    • Related Report
      2013 Annual Research Report
    • Invited
  • [Presentation] ディープニューラルネットワークを用いた物体表面の光沢感認識

    • Author(s)
      重川裕和 , 岡谷貴之
    • Organizer
      画像の認識・理解シンポジウム
    • Place of Presentation
      東京
    • Related Report
      2013 Annual Research Report
  • [Book] 深層学習(機械学習プロフェッショナルシリーズ)2015

    • Author(s)
      岡谷貴之
    • Total Pages
      165
    • Publisher
      講談社
    • Related Report
      2014 Annual Research Report
  • [Book] コンピュータビジョン最先端ガイド6「ディープラーニングと画像認識への応用」2013

    • Author(s)
      岡谷貴之
    • Total Pages
      125
    • Publisher
      アドコム・メディア株式会社
    • Related Report
      2013 Annual Research Report

URL: 

Published: 2013-05-15   Modified: 2019-07-29  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi