• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Theory and Practice of Deep Learning Based on Fisher Information Matrix and MDL Principle

Research Project

Project/Area Number 23H05492
Research Category

Grant-in-Aid for Scientific Research (S)

Allocation TypeSingle-year Grants
Review Section Broad Section J
Research InstitutionKyushu University

Principal Investigator

竹内 純一  九州大学, システム情報科学研究院, 教授 (80432871)

Co-Investigator(Kenkyū-buntansha) 武石 啓成  九州大学, システム情報科学研究院, 助教 (00963779)
三村 和史  広島市立大学, 情報科学研究科, 教授 (40353297)
村田 昇  早稲田大学, 理工学術院, 教授 (60242038)
長岡 浩司  電気通信大学, その他部局等, 名誉教授 (80192235)
Project Period (FY) 2023-04-12 – 2028-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥205,140,000 (Direct Cost: ¥157,800,000、Indirect Cost: ¥47,340,000)
Fiscal Year 2025: ¥53,300,000 (Direct Cost: ¥41,000,000、Indirect Cost: ¥12,300,000)
Fiscal Year 2024: ¥20,670,000 (Direct Cost: ¥15,900,000、Indirect Cost: ¥4,770,000)
Fiscal Year 2023: ¥59,800,000 (Direct Cost: ¥46,000,000、Indirect Cost: ¥13,800,000)
Keywords深層学習 / Fisher情報行列 / MDL原理 / 汎化誤差 / 固有値分解 / 確率的勾配降下法 / MRI / サイバーセキュリティ
Outline of Research at the Start

ニューラルネットのFisher情報行列の性質を手掛かりに深層学習の理論基盤についての研究及び実応用の研究を実施する.
2023年度には2層ニューラルネットの汎化誤差の理論を示す.次に,その結果とFisher情報行列がブロック対角に漸近することを足掛かりに,多層のニューラルネットの汎化誤差解析に取り組む.これは2025年度までの解決を目標とする主要な課題である.これに加え,Fisher情報行列の近似固有値分解に基づいて,勾配法の高速化,自然勾配法の考察,二重降下現象の考察を行う.並行して,理論成果に基づいてMRIの画像再構成アルゴリズムなどの深層学習の実応用に取り組む.

Outline of Annual Research Achievements

2層ニューラルネットの最終層のパラメータ推定に関して,1)Fisher情報行列の固有値分解,2)リスク上界の評価,3)勾配法の改良,に取り組んだ.
1)については,従来,隠れ層のパラメータWがランダムに生成される場合,固有値分布の著しい偏りを示す近似固有値分解が高確率で成立するという命題を得ていた.今年度は,Fisher情報行列の展開式自体は任意のWについて成り立つことを確認し,それが近似固有値分解とみなせるためのWに関する条件を与え,その条件が高確率で成立することとを示した.
2)については,固有値分布の偏りに基づき,小さな冗長度をもつ二段階符号を設計した.パラメータ数をp,入力の次元をd,訓練データ数をnとするとき,古典的仮定の下では,冗長度がO((p/2)log n)となるのに対し,本研究で設計した二段階符号では,主要項がO((d^2/2)log n)である.Barron and Coverの定理によれば,汎化誤差は冗長度で押さえられるため,本結果は,汎化誤差がpによらないことを示しており,深層学習の汎化誤差に対して,重要な知見を与えたものと言える.
3)については,2023年度までに,Fisher情報行列の固有値分布の偏りを利用して,勾配降下法の挙動を安定化させる「安定器」の設計を行い,数値実験により有効性を示した.2023年度には,その結果を確率的勾配降下法に適用した.その結果,バッチサイズがその挙動に大きな影響を与えることを見出した.これは,安定器の適用法とバッチサイズの効率的組み合わせ法があることを示唆している.
その他,確率的コンプレキシティの評価,情報幾何学の立場からのFisher情報行列の解析,統計力学に基づく圧縮センシングの解析等を行った.応用に関しては,MRI画像における腫瘍分類,サイバーセキュリティのためのデータ解析,軌道トモグラフィ等に取り組んだ.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究計画に掲げた初年度の課題をほぼ全て肯定的に解決した.

Strategy for Future Research Activity

2層ニューラルネットの汎化誤差解析を進める中で,神経接核理論との新たな関連が明らかになった.この問題は二重降下現象の解明のためには極めて重要であるため,最優先で取り組む.

Report

(3 results)
  • 2023 Abstract ( PDF )   Comments on the Screening Results   Annual Research Report
  • Research Products

    (10 results)

All 2024 2023 Other

All Int'l Joint Research (2 results) Journal Article (6 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 6 results,  Open Access: 5 results) Presentation (2 results) (of which Int'l Joint Research: 1 results)

  • [Int'l Joint Research] Yale University(米国)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] Umea University(スウェーデン)

    • Related Report
      2023 Annual Research Report
  • [Journal Article] Photoemission Orbital Tomography Using a Robust Sparse PhaseLift2024

    • Author(s)
      Niki K.、Asano R.、Sakanoue R.、Hasegawa A.、Yamada Y.、Hagiwara M.、Mimura K.
    • Journal Title

      The Journal of Physical Chemistry A

      Volume: 128 Issue: 13 Pages: 2672-2679

    • DOI

      10.1021/acs.jpca.3c06506

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Brain Tumor Classification using Under-Sampled k-Space Data: A Deep Learning Approach2023

    • Author(s)
      SULTANA Tania、KUROSAKI Sho、JITSUMATSU Yutaka、KUHARA Shigehide、TAKEUCHI Jun'ichi
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E106.D Issue: 11 Pages: 1831-1841

    • DOI

      10.1587/transinf.2022EDP7198

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2023-11-01
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Consolidating Packet-Level Features for Effective Network Intrusion Detection: A Novel Session-Level Approach2023

    • Author(s)
      K. Miyamoto, M. Iida, C. Han, T. Ban, T. Takahashi and J. Takeuchi
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 132792-132810

    • DOI

      10.1109/access.2023.3335600

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Approximate spectral decomposition of Fisher information matrix for simple ReLU networks2023

    • Author(s)
      Takeishi Yoshinari、Iida Masazumi、Takeuchi Jun’ichi
    • Journal Title

      Neural Networks

      Volume: 164 Pages: 691-706

    • DOI

      10.1016/j.neunet.2023.05.017

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Effective implementation of L0-Regularised Compressed Sensing with Chaotic-Amplitude-Controlled Coherent Ising Machines2023

    • Author(s)
      Mastiyage Don Sudeera Hasaranga Gunathilaka, Satoshi Kako, Yoshitaka Inui, Kazushi Mimura, Masato Okada, Yoshihisa Yamamoto, and Toru Aonishi
    • Journal Title

      Scientific Report,

      Volume: no. 13 Issue: 1

    • DOI

      10.1038/s41598-023-43364-8

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] The Fisher metric as a metric on the cotangent bundle2023

    • Author(s)
      Nagaoka Hiroshi
    • Journal Title

      Information Geometry

      Volume: 7 Issue: S1 Pages: 651-677

    • DOI

      10.1007/s41884-023-00126-9

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 単純なReLUネットワークにおけるタイトなリスク上界をもつMDL推定量の構成2024

    • Author(s)
      武石啓成,竹内純一
    • Organizer
      電子情報通信学会情報理論研究会(信学技報, vol. 123, no. 423, IT2023-134)
    • Related Report
      2023 Annual Research Report
  • [Presentation] Packet-Level Intrusion Detection Using LSTM Focusing on Personal Information and Payloads2023

    • Author(s)
      S. Kawanaka, Y. Kashiwabara, K. Miyamoto, M. Iida, C. Han, T. Ban, T. Takahashi, J. Takeuchi
    • Organizer
      The 18th Asia Joint Conference on Information Security
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2023-04-13   Modified: 2025-04-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi