• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Fisher情報行列と記述長最小原理に基づく深層学習の理論と実践

研究課題

研究課題/領域番号 23H05492
研究種目

基盤研究(S)

配分区分補助金
審査区分 大区分J
研究機関九州大学

研究代表者

竹内 純一  九州大学, システム情報科学研究院, 教授 (80432871)

研究分担者 武石 啓成  九州大学, システム情報科学研究院, 助教 (00963779)
三村 和史  広島市立大学, 情報科学研究科, 教授 (40353297)
村田 昇  早稲田大学, 理工学術院, 教授 (60242038)
長岡 浩司  電気通信大学, その他部局等, 名誉教授 (80192235)
研究期間 (年度) 2023-04-12 – 2028-03-31
研究課題ステータス 交付 (2025年度)
配分額 *注記
205,140千円 (直接経費: 157,800千円、間接経費: 47,340千円)
2025年度: 53,300千円 (直接経費: 41,000千円、間接経費: 12,300千円)
2024年度: 20,670千円 (直接経費: 15,900千円、間接経費: 4,770千円)
2023年度: 59,800千円 (直接経費: 46,000千円、間接経費: 13,800千円)
キーワード深層学習 / Fisher情報行列 / MDL原理 / 汎化誤差 / 固有値分解 / 確率的勾配降下法 / MRI / サイバーセキュリティ
研究開始時の研究の概要

ニューラルネットのFisher情報行列の性質を手掛かりに深層学習の理論基盤についての研究及び実応用の研究を実施する.
2023年度には2層ニューラルネットの汎化誤差の理論を示す.次に,その結果とFisher情報行列がブロック対角に漸近することを足掛かりに,多層のニューラルネットの汎化誤差解析に取り組む.これは2025年度までの解決を目標とする主要な課題である.これに加え,Fisher情報行列の近似固有値分解に基づいて,勾配法の高速化,自然勾配法の考察,二重降下現象の考察を行う.並行して,理論成果に基づいてMRIの画像再構成アルゴリズムなどの深層学習の実応用に取り組む.

研究実績の概要

2層ニューラルネットの最終層のパラメータ推定に関して,1)Fisher情報行列の固有値分解,2)リスク上界の評価,3)勾配法の改良,に取り組んだ.
1)については,従来,隠れ層のパラメータWがランダムに生成される場合,固有値分布の著しい偏りを示す近似固有値分解が高確率で成立するという命題を得ていた.今年度は,Fisher情報行列の展開式自体は任意のWについて成り立つことを確認し,それが近似固有値分解とみなせるためのWに関する条件を与え,その条件が高確率で成立することとを示した.
2)については,固有値分布の偏りに基づき,小さな冗長度をもつ二段階符号を設計した.パラメータ数をp,入力の次元をd,訓練データ数をnとするとき,古典的仮定の下では,冗長度がO((p/2)log n)となるのに対し,本研究で設計した二段階符号では,主要項がO((d^2/2)log n)である.Barron and Coverの定理によれば,汎化誤差は冗長度で押さえられるため,本結果は,汎化誤差がpによらないことを示しており,深層学習の汎化誤差に対して,重要な知見を与えたものと言える.
3)については,2023年度までに,Fisher情報行列の固有値分布の偏りを利用して,勾配降下法の挙動を安定化させる「安定器」の設計を行い,数値実験により有効性を示した.2023年度には,その結果を確率的勾配降下法に適用した.その結果,バッチサイズがその挙動に大きな影響を与えることを見出した.これは,安定器の適用法とバッチサイズの効率的組み合わせ法があることを示唆している.
その他,確率的コンプレキシティの評価,情報幾何学の立場からのFisher情報行列の解析,統計力学に基づく圧縮センシングの解析等を行った.応用に関しては,MRI画像における腫瘍分類,サイバーセキュリティのためのデータ解析,軌道トモグラフィ等に取り組んだ.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

研究計画に掲げた初年度の課題をほぼ全て肯定的に解決した.

今後の研究の推進方策

2層ニューラルネットの汎化誤差解析を進める中で,神経接核理論との新たな関連が明らかになった.この問題は二重降下現象の解明のためには極めて重要であるため,最優先で取り組む.

報告書

(3件)
  • 2023 研究概要(採択時) ( PDF )   審査結果の所見   実績報告書
  • 研究成果

    (10件)

すべて 2024 2023 その他

すべて 国際共同研究 (2件) 雑誌論文 (6件) (うち国際共著 2件、 査読あり 6件、 オープンアクセス 5件) 学会発表 (2件) (うち国際学会 1件)

  • [国際共同研究] Yale University(米国)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] Umea University(スウェーデン)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Photoemission Orbital Tomography Using a Robust Sparse PhaseLift2024

    • 著者名/発表者名
      Niki K.、Asano R.、Sakanoue R.、Hasegawa A.、Yamada Y.、Hagiwara M.、Mimura K.
    • 雑誌名

      The Journal of Physical Chemistry A

      巻: 128 号: 13 ページ: 2672-2679

    • DOI

      10.1021/acs.jpca.3c06506

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Brain Tumor Classification using Under-Sampled k-Space Data: A Deep Learning Approach2023

    • 著者名/発表者名
      SULTANA Tania、KUROSAKI Sho、JITSUMATSU Yutaka、KUHARA Shigehide、TAKEUCHI Jun'ichi
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E106.D 号: 11 ページ: 1831-1841

    • DOI

      10.1587/transinf.2022EDP7198

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2023-11-01
    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Consolidating Packet-Level Features for Effective Network Intrusion Detection: A Novel Session-Level Approach2023

    • 著者名/発表者名
      K. Miyamoto, M. Iida, C. Han, T. Ban, T. Takahashi and J. Takeuchi
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 132792-132810

    • DOI

      10.1109/access.2023.3335600

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Approximate spectral decomposition of Fisher information matrix for simple ReLU networks2023

    • 著者名/発表者名
      Takeishi Yoshinari、Iida Masazumi、Takeuchi Jun’ichi
    • 雑誌名

      Neural Networks

      巻: 164 ページ: 691-706

    • DOI

      10.1016/j.neunet.2023.05.017

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Effective implementation of L0-Regularised Compressed Sensing with Chaotic-Amplitude-Controlled Coherent Ising Machines2023

    • 著者名/発表者名
      Mastiyage Don Sudeera Hasaranga Gunathilaka, Satoshi Kako, Yoshitaka Inui, Kazushi Mimura, Masato Okada, Yoshihisa Yamamoto, and Toru Aonishi
    • 雑誌名

      Scientific Report,

      巻: no. 13 号: 1

    • DOI

      10.1038/s41598-023-43364-8

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] The Fisher metric as a metric on the cotangent bundle2023

    • 著者名/発表者名
      Nagaoka Hiroshi
    • 雑誌名

      Information Geometry

      巻: 7 号: S1 ページ: 651-677

    • DOI

      10.1007/s41884-023-00126-9

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] 単純なReLUネットワークにおけるタイトなリスク上界をもつMDL推定量の構成2024

    • 著者名/発表者名
      武石啓成,竹内純一
    • 学会等名
      電子情報通信学会情報理論研究会(信学技報, vol. 123, no. 423, IT2023-134)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Packet-Level Intrusion Detection Using LSTM Focusing on Personal Information and Payloads2023

    • 著者名/発表者名
      S. Kawanaka, Y. Kashiwabara, K. Miyamoto, M. Iida, C. Han, T. Ban, T. Takahashi, J. Takeuchi
    • 学会等名
      The 18th Asia Joint Conference on Information Security
    • 関連する報告書
      2023 実績報告書
    • 国際学会

URL: 

公開日: 2023-04-13   更新日: 2025-06-20  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi