| 研究課題/領域番号 |
23H05492
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
竹内 純一 九州大学, システム情報科学研究院, 教授 (80432871)
|
|---|
| 研究分担者 |
武石 啓成 九州大学, システム情報科学研究院, 助教 (00963779)
三村 和史 広島市立大学, 情報科学研究科, 教授 (40353297)
村田 昇 早稲田大学, 理工学術院, 教授 (60242038)
長岡 浩司 電気通信大学, その他部局等, 名誉教授 (80192235)
|
|---|
| 研究期間 (年度) |
2023-04-12 – 2028-03-31
|
| キーワード | Fisher情報行列 / 深層学習 / MDL原理 / 汎化誤差 / 固有値分解 / 確率的勾配降下法 / MRI / サイバーセキュリティ |
|---|
| 研究実績の概要 |
2層ニューラルネットの最終層のパラメータ推定に関して，1)Fisher情報行列の固有値分解，2)リスク上界の評価，3)勾配法の改良，に取り組んだ．
1)については，従来，隠れ層のパラメータWがランダムに生成される場合，固有値分布の著しい偏りを示す近似固有値分解が高確率で成立するという命題を得ていた．今年度は，Fisher情報行列の展開式自体は任意のWについて成り立つことを確認し，それが近似固有値分解とみなせるためのWに関する条件を与え，その条件が高確率で成立することとを示した．
2)については，固有値分布の偏りに基づき，小さな冗長度をもつ二段階符号を設計した．パラメータ数をp，入力の次元をd，訓練データ数をnとするとき，古典的仮定の下では，冗長度がO((p/2)log n)となるのに対し，本研究で設計した二段階符号では，主要項がO((d^2/2)log n)である．Barron and Coverの定理によれば，汎化誤差は冗長度で押さえられるため，本結果は，汎化誤差がpによらないことを示しており，深層学習の汎化誤差に対して，重要な知見を与えたものと言える．
3)については，2023年度までに，Fisher情報行列の固有値分布の偏りを利用して，勾配降下法の挙動を安定化させる「安定器」の設計を行い，数値実験により有効性を示した．2023年度には，その結果を確率的勾配降下法に適用した．その結果，バッチサイズがその挙動に大きな影響を与えることを見出した．これは，安定器の適用法とバッチサイズの効率的組み合わせ法があることを示唆している．
その他，確率的コンプレキシティの評価，情報幾何学の立場からのFisher情報行列の解析，統計力学に基づく圧縮センシングの解析等を行った．応用に関しては，MRI画像における腫瘍分類，サイバーセキュリティのためのデータ解析，軌道トモグラフィ等に取り組んだ．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究計画に掲げた初年度の課題をほぼ全て肯定的に解決した．
|
| 今後の研究の推進方策 |
2層ニューラルネットの汎化誤差解析を進める中で，神経接核理論との新たな関連が明らかになった．この問題は二重降下現象の解明のためには極めて重要であるため，最優先で取り組む．
|
