• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Comprehensible deep learning with the aid of sparse modeling

Research Project

Project/Area Number 18K11487
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61040:Soft computing-related
Research InstitutionFuzzy Logic Systems Institute

Principal Investigator

Ishikawa Masumi  一般財団法人ファジィシステム研究所, 研究部, 特別研究員 (60222973)

Project Period (FY) 2018-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2018: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywords深層学習 / 積層自己符号化器 / スパースモデリング / 正則化 / 疎構造 / 情報圧縮 / ブラックボックス / 冗長表現 / 理解できるAI / L1ノルム / ニューラルネットワーク / 人工知能 / 理解可能性
Outline of Final Research Achievements

Deep learning has a serious drawback in that the resulting models tend to be a black box. A sparse modeling approach applied to stacked autoencoders for information compression is expected to ameliorate the drawback. I propose to use the concept of Pareto optimality composed of data fitting and the sparseness of models for judging the effectiveness of regularization terms. Based on it, I demonstrate that compared to (a)the popular L1-norm of connection weights, (b)the selective L1-norm of connection weights is more effective, and that the addition of (c)the selective L1 norm, (d)the selective L2 norm, (e)KL-divergence, or (f)off-diagonal squared covariances of hidden outputs are still more effective. The resulting sparse structure of stacked autoencoders enables the clarification of information compression mechanism composed of identity mappings and pseudo-identity mappings. It further clarifies the relation between mappings and information loss, and contributes to human understanding.

Academic Significance and Societal Importance of the Research Achievements

スパースモデリングに用いられる正則化項がいろいろ提案されてきたが、知る限りではこれらの有効性を評価する方法が無かった。本研究はデータ適合度及びスパース度(結合数)からなるパレート最適性の概念を利用して正則化項の有効性指標を提案し、大規模実データを用いてその有効性を実証した点に研究成果の学術的意義がある。
正則化項の有効性指標を用いてその有効性を評価し、少なくとも積層自己符号化器において最も有効な正則化項群による学習結果を人が理解することを可能とし、またクラス分類課題においても同様のアプローチで疎構造を得ることができ、人に理解できる人工知能への第一歩を示せた点に研究成果の社会的意義がある。

Report

(5 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • 2018 Research-status Report
  • Research Products

    (8 results)

All 2022 2020 2019 2018

All Journal Article (1 results) Presentation (7 results)

  • [Journal Article] 巻頭言「自己組織化マップの俯瞰と今後への期待」2018

    • Author(s)
      石川眞澄
    • Journal Title

      知能と情報

      Volume: 30

    • Related Report
      2018 Research-status Report
  • [Presentation] 連続値とカテゴリー値データが混在する深層学習における種々のスパース化とその有効性評価2022

    • Author(s)
      石川眞澄
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 積層自己符号化器学習における種々のスパース化の適用と有効性評価および情報圧縮機構の解明2022

    • Author(s)
      石川眞澄
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 自己符号化器とスパースPCAの性能比較2020

    • Author(s)
      石川眞澄
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] スパースモデリングによる積層自己符号化器の情報圧縮機構の明確化2020

    • Author(s)
      石川眞澄
    • Organizer
      第19回情報科学技術フォーラム(FIT2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] 層毎貪欲学習および各種正則化項によるクラス分類深層ネットワークのスパース化2020

    • Author(s)
      石川眞澄
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] 積層自己符号化器における冗長表現およびブラックボックスの抑制2019

    • Author(s)
      石川眞澄
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] 積層自己符号化器における人が理解できる深層学習を目指して2019

    • Author(s)
      石川眞澄
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Related Report
      2018 Research-status Report

URL: 

Published: 2018-04-23   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi