• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

専門家の認知プロセスを模擬した深層学習に基づく画像分類技術の構築

Research Project

Project/Area Number 18J10373
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Intelligent informatics
Research InstitutionHokkaido University

Principal Investigator

前田 圭介  北海道大学, 情報科学研究院, 特別研究員(PD)

Project Period (FY) 2018-04-25 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥1,500,000 (Direct Cost: ¥1,500,000)
Fiscal Year 2019: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2018: ¥800,000 (Direct Cost: ¥800,000)
Keywords画像分類 / 深層学習 / 機械学習 / 信号処理 / 視線解析 / 暗黙知 / 認知科学 / マルチモーダル
Outline of Annual Research Achievements

2019年度は、研究の目的に述べた「研究目的:フェーズ2」を達成するために、以下の二点の研究を実施した。ただし、以下の研究を遂行するために、2018年度までに導出した異種特徴間の相関関係を考慮可能な射影行列を用いた。
実施計画1:画像分類において専門家が判断時に基準とする情報を基準特徴として算出した。具体的に、各専門分野において定められているガイドライン等にのっとり、判断基準を記録した。その後、それらの判断基準が専門家の判断時にどの程度貢献するかを調査することで、基準特徴の算出を可能とした。
実施計画2:算出した基準特徴と教師ラベルを学習するための深層学習手法を構築した。専門家は判断基準に基づき結果を得ることから、基準特徴を中間層へ、教師ラベルを出力層へ挿入し学習を行うことで、重み行列を推定した。これにより、画像を入力した際に、専門家の判断基準を推定しながら、判定結果を出力可能な深層学習手法の構築が可能なった。上記研究により構築した手法は以下の二点のメリットを有している。
1.専門家の判断基準を学習することで、機械が専門家の判断基準に即した結果を導くことができる点。
2.新しい画像が入力された際、その都度視線情報・基準特徴を取得することなく、学習で求めた射影行列・中間層の重み行列を用いることで最終結果を取得可能な点。
上述の研究によって得られた結果を信号処理・画像処理系の国内会議・国際会議において発表を行い、加えて、学会発表で得られた知見に基づき、手法を高度化することにより、学術論文誌にも採録された。

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • Research Products

    (33 results)

All 2020 2019 2018 Other

All Journal Article (5 results) (of which Peer Reviewed: 5 results,  Open Access: 2 results) Presentation (26 results) (of which Int'l Joint Research: 12 results,  Invited: 1 results) Remarks (2 results)

  • [Journal Article] [Papers] Interpretable Convolutional Neural Network Including Attribute Estimation for Image Classification2020

    • Author(s)
      Kazaha Horii, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 8 Issue: 2 Pages: 111-124

    • DOI

      10.3169/mta.8.111

    • NAID

      130007825882

    • ISSN
      2186-7364
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Human-centered image classification via a neural network considering visual and biological features2019

    • Author(s)
      Kazaha Horii, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • Journal Title

      Multimedia Tools and Applications

      Volume: 印刷中 Issue: 7-8 Pages: 1-21

    • DOI

      10.1007/s11042-019-7222-3

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Convolutional Sparse Coding-based Deep Random Vector Functional Link Network for Distress Classification of Road Structures2019

    • Author(s)
      Keisuke Maeda, Sho Takahashi, Takahiro Ogawa, Miki Haseyama
    • Journal Title

      Computer-Aided Civil and Infrastructure Engineering

      Volume: 印刷中

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Distress classification of class-imbalanced inspection data via correlation-maximizing weighted extreme learning machine2018

    • Author(s)
      Maeda Keisuke、Takahashi Sho、Ogawa Takahiro、Haseyama Miki
    • Journal Title

      Advanced Engineering Informatics

      Volume: 37 Pages: 79-87

    • DOI

      10.1016/j.aei.2018.04.014

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Estimation of Deterioration Levels of Transmission Towers via Deep Learning Maximizing Canonical Correlation between Heterogeneous Features2018

    • Author(s)
      Keisuke Maeda, Sho Takahashi, Takahiro Ogawa, Miki Haseyama
    • Journal Title

      IEEE Journal of Selected Topics in Signal Processing

      Volume: 12 Issue: 4 Pages: 633-644

    • DOI

      10.1109/jstsp.2018.2849593

    • NAID

      120006502506

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Presentation] Quantitative analysis of engineer’s skill using wearable sensor data while inspecting highway bridge2020

    • Author(s)
      Genki Suzuki, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • Organizer
      IEEE 2nd Global Conference on Life Sciences and Technologies
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Distress level classification of road infrastructures via CNN generating attention map2020

    • Author(s)
      Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • Organizer
      IEEE 2nd Global Conference on Life Sciences and Technologies
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 社会インフラ維持管理効率化のための最先端AI技術の導入 -点検データを用いた変状分類の精度向上に向けた取り組み-2020

    • Author(s)
      前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      北海道大学 数理・データサイエンス公開シンポジウム
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 地下鉄トンネル点検時の生体信号に基づいた熟練および若手技術者の分類に関する検討2020

    • Author(s)
      九島 哲哉, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会技術報告
    • Related Report
      2019 Annual Research Report
  • [Presentation] 道路構造物の変状評価における技術者の視線データと熟練度の分析に関する一考察2020

    • Author(s)
      松井 太我, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会技術報告
    • Related Report
      2019 Annual Research Report
  • [Presentation] 道路構造物の維持管理効率化に向けた変状画像分類における信頼性の向上に関する検討2020

    • Author(s)
      堀井 風葉, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会技術報告
    • Related Report
      2019 Annual Research Report
  • [Presentation] 地下鉄トンネル維持管理支援を目的とした類似画像の検索に関する検討-技術者の評価を反映可能な距離計量学習の導入-2020

    • Author(s)
      松本 有衣, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会技術報告
    • Related Report
      2019 Annual Research Report
  • [Presentation] 画像注視時のヒトの感情推定のための視線特徴の推定に関する検討2020

    • Author(s)
      諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会技術報告
    • Related Report
      2019 Annual Research Report
  • [Presentation] Neural network maximizing ordinally supervised multi-view canonical correlation for deterioration level estimation2019

    • Author(s)
      Keisuke Maeda, Sho Takahashi, Takahiro Ogawa, Miki Haseyama
    • Organizer
      IEEE International Conference on Image Processing
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Multi-feature Fusion Based on Supervised Multi-view Multi-label Canonical Correlation Projection2019

    • Author(s)
      Keisuke Maeda, Sho Takahashi, Takahiro Ogawa and Miki Haseyama
    • Organizer
      IEEE International Conference on Acoustics, Speech and Signal Processing
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Region-based distress classification of road infrastructures via CNN without region annotation2019

    • Author(s)
      Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • Organizer
      IEEE 8th Global Conference on Consumer Electronics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Estimation of user-specific visual attention based on gaze information of similar users2019

    • Author(s)
      Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • Organizer
      IEEE 8th Global Conference on Consumer Electronics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Estimation of emotion labels via tensor-based spatiotemporal visual attention analysis2019

    • Author(s)
      Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • Organizer
      IEEE International Conference on Image Processing
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] User-Specific Visual Attention Estimation Based on Visual Similarity and Spatial Information in Images2019

    • Author(s)
      Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • Organizer
      IEEE International Conference on Consumer Electronics - Taiwan
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Multi-feature fusion based on semi-supervised multi-view multi-label canonical correlation projection2019

    • Author(s)
      Keisuke Maeda, Sho Takahashi, Takahiro Ogawa, Miki Haseyama
    • Organizer
      第22回 画像の認識・理解シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] 変状分類における Grad-CAM++ に基づいた CNN の注目領域の可視化に関する検討2019

    • Author(s)
      小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      令和元年度 電気・情報関係学会北海道支部連合大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Sparse Bayesian Learning に基づく注視領域の時間変化を考慮したヒトの感情推定に関する検討2019

    • Author(s)
      諸戸 祐哉,前田 圭介,小川 貴弘,長谷山 美紀
    • Organizer
      令和元年度 電気・情報関係学会北海道支部連合大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 画像の視覚的および空間的特徴に基づくユーザに特化した注視領域推定の高精度化に関する検討 ~ 視覚的特徴の類似度と推定精度の関係性に関する一考察~2019

    • Author(s)
      諸戸 祐哉,前田 圭介,小川 貴弘,長谷山 美紀
    • Organizer
      イメージ・メディア・クオリティ研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 異種特徴を用いた深層学習に基づく送電鉄塔の劣化レベル分類の高精度化に関する検討2019

    • Author(s)
      前田 圭介, 高橋 翔, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会メディア工学研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 畳み込みニューラルネットワークにおける解釈性向上のための画像の属性分類に関する一検討2019

    • Author(s)
      堀井 風葉, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会メディア工学研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Estimation of Visual Attention via Canonical Correlation between Visual and Gaze-based Features2019

    • Author(s)
      Y. Moroto, K. Maeda, T. Ogawa, M. Haseyama
    • Organizer
      IEEE Global Conference on Life Sciences and Technologies
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] User-Specific Visual Attention Estimation Based on Visual Similarity and Spatial Information in Images2019

    • Author(s)
      Y. Moroto, K. Maeda, T. Ogawa, M. Haseyama
    • Organizer
      IEEE International Conference on Consumer Electronics Taiwan
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Convolutional Sparse Codingを導入した深層学習に基づく変状分類手法の構築2018

    • Author(s)
      前田 圭介, 高橋 翔, 小川 貴弘, 長谷山 美紀
    • Organizer
      第21回 画像の認識・理解シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] 画像注視時の注視領域の時間変化を考慮したテンソル解析に基づく感情推定に関する検討2018

    • Author(s)
      諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      平成30年度 電気・情報関係学会北海道支部連合大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] A Human-Centered Neural Network Model with Discriminative Locality Preserving Canonical Correlation Analysis for Image Classification2018

    • Author(s)
      K. Horii, K. Maeda, T. Ogawa, M. Haseyama
    • Organizer
      IEEE International Conference on Image Processing
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] User-centric Visual Attention Estimation Based on Relationship Between Image and Eye Gaze Data2018

    • Author(s)
      Y. Moroto, K. Maeda, T. Ogawa, M. Haseyama
    • Organizer
      IEEE Global Conference on Consumer Electronics
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Remarks] 北海道大学大学院情報科学研究院メディアダイナミクス研究室 研究室メンバー

    • URL

      https://www-lmd.ist.hokudai.ac.jp/member/maeda/

    • Related Report
      2019 Annual Research Report
  • [Remarks] 北海道大学大学院情報科学研究院メディアダイナミクス研究室 研究室メンバー

    • URL

      https://www-lmd.ist.hokudai.ac.jp/maeda/

    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-05-01   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi