Theory and Practice of Deep Learning Based on Fisher Information Matrix and MDL Principle
| Project/Area Number |
23H05492
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (S)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Broad Section J
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
竹内 純一 九州大学, システム情報科学研究院, 教授 (80432871)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
武石 啓成 九州大学, システム情報科学研究院, 助教 (00963779)
三村 和史 広島市立大学, 情報科学研究科, 教授 (40353297)
村田 昇 早稲田大学, 理工学術院, 教授 (60242038)
長岡 浩司 電気通信大学, その他部局等, 名誉教授 (80192235)
|
|---|
| Project Period (FY) |
2023-04-12 – 2028-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥205,140,000 (Direct Cost: ¥157,800,000、Indirect Cost: ¥47,340,000)
Fiscal Year 2024: ¥20,670,000 (Direct Cost: ¥15,900,000、Indirect Cost: ¥4,770,000)
Fiscal Year 2023: ¥59,800,000 (Direct Cost: ¥46,000,000、Indirect Cost: ¥13,800,000)
|
|---|
| Keywords | 深層学習 / Fisher情報行列 / MDL原理 / 汎化誤差 / 固有値分解 / 確率的勾配降下法 / MRI / サイバーセキュリティ |
|---|
| Outline of Research at the Start |
ニューラルネットのFisher情報行列の性質を手掛かりに深層学習の理論基盤についての研究及び実応用の研究を実施する．
2023年度には2層ニューラルネットの汎化誤差の理論を示す．次に，その結果とFisher情報行列がブロック対角に漸近することを足掛かりに，多層のニューラルネットの汎化誤差解析に取り組む．これは2025年度までの解決を目標とする主要な課題である．これに加え，Fisher情報行列の近似固有値分解に基づいて，勾配法の高速化，自然勾配法の考察，二重降下現象の考察を行う．並行して，理論成果に基づいてMRIの画像再構成アルゴリズムなどの深層学習の実応用に取り組む．
|
| Outline of Annual Research Achievements |
2層ニューラルネットの最終層のパラメータ推定に関して，1)Fisher情報行列の固有値分解，2)リスク上界の評価，3)勾配法の改良，に取り組んだ．
1)については，従来，隠れ層のパラメータWがランダムに生成される場合，固有値分布の著しい偏りを示す近似固有値分解が高確率で成立するという命題を得ていた．今年度は，Fisher情報行列の展開式自体は任意のWについて成り立つことを確認し，それが近似固有値分解とみなせるためのWに関する条件を与え，その条件が高確率で成立することとを示した．
2)については，固有値分布の偏りに基づき，小さな冗長度をもつ二段階符号を設計した．パラメータ数をp，入力の次元をd，訓練データ数をnとするとき，古典的仮定の下では，冗長度がO((p/2)log n)となるのに対し，本研究で設計した二段階符号では，主要項がO((d^2/2)log n)である．Barron and Coverの定理によれば，汎化誤差は冗長度で押さえられるため，本結果は，汎化誤差がpによらないことを示しており，深層学習の汎化誤差に対して，重要な知見を与えたものと言える．
3)については，2023年度までに，Fisher情報行列の固有値分布の偏りを利用して，勾配降下法の挙動を安定化させる「安定器」の設計を行い，数値実験により有効性を示した．2023年度には，その結果を確率的勾配降下法に適用した．その結果，バッチサイズがその挙動に大きな影響を与えることを見出した．これは，安定器の適用法とバッチサイズの効率的組み合わせ法があることを示唆している．
その他，確率的コンプレキシティの評価，情報幾何学の立場からのFisher情報行列の解析，統計力学に基づく圧縮センシングの解析等を行った．応用に関しては，MRI画像における腫瘍分類，サイバーセキュリティのためのデータ解析，軌道トモグラフィ等に取り組んだ．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画に掲げた初年度の課題をほぼ全て肯定的に解決した．
|
| Strategy for Future Research Activity |
2層ニューラルネットの汎化誤差解析を進める中で，神経接核理論との新たな関連が明らかになった．この問題は二重降下現象の解明のためには極めて重要であるため，最優先で取り組む．
|
Report
(3 results)
Research Products
(10 results)
