| 研究成果の概要 |
本研究の目的は, ランダム結合をもつニューラルネットワークの解析に基づいて, 深層学習に有用な数理的知見を獲得することである. この目的を目指して, まずパラメータ空間の幾何学的構造を定めるFisher情報行列の固有値を解析した. これにより, 正規化層の効果や学習率の適切な設定に関して定量的な説明を与えた. さらにランダム神経回路まわりの摂動範囲での学習として特徴づけられるNTKレジームでは, 自然勾配法の適切な近似を明らかにした. また記憶埋め込み型の連想記憶モデルに関連して, VAEにおける記憶想起過程やModern Hopfieldネットに対応するボルツマンマシンを解明にした.
|
| 研究成果の学術的意義や社会的意義 |
ランダム神経回路は古典的に理論的神経科学の枠組みで発展してきたが, 近年は深層学習にその枠組みを拡張し, たとえば逆誤差伝播における解析が進みつつある. 本研究課題もこの流れに沿うもので, 特に, 学習のプロセスに大きく影響を与えるFisher情報行列やNTK行列に着目し, 各種モデルや学習手法の性質を明らかにした点に独自性があり学術的意義がある. 本成果は様々な応用を支える基礎技術に理解を与えており, 今後の深層学習技術の研究開発を進めるうえで有用となることが期待でき, その点で社会的意義もあるといえるだろう.
|
