Fisher情報行列と記述長最小原理に基づく深層学習の理論と実践

2023 年度 審査結果の所見

• 研究課題/領域番号: 23H05492
• 研究種目: 基盤研究(S)
• 配分区分: 補助金
• 審査区分: 大区分J
• 研究機関: 九州大学
• 研究代表者: 竹内 純一 九州大学, システム情報科学研究院, 教授 (80432871)
• 研究分担者: 武石 啓成 九州大学, システム情報科学研究院, 助教 (00963779) ; 三村 和史 広島市立大学, 情報科学研究科, 教授 (40353297) ; 村田 昇 早稲田大学, 理工学術院, 教授 (60242038) ; 長岡 浩司 電気通信大学, その他部局等, 名誉教授 (80192235)
• 研究期間 (年度): 2023-04-12 – 2028-03-31

研究の概要

本研究は、深層学習の理論基盤を構築しようという研究である。研究代表者らが発見した２層ニューラルネットのFisher情報行列の近似固有値分解に基づき、汎化誤差がO（d^2）（dは入力の次元）の証明、パラメータ数の増加に伴う「二重降下現象」の直感的理解、固有値グループ化と自然勾配との関係、３層以上のニューラルネットへの拡張、学習法設計を行うものである。

学術的意義、期待される成果

近年の深層学習の爆発的な発達と普及に比べ、基礎理論の進展による数理的側面の解明は世界的に見ても遅れており、本研究ではシンプルなケースから出発し、数理構造の解明から深層学習の有効性のメカニズム解明への基礎を作ることに学術的意義が認められる。２層での結果を多層構造に拡張できるか、そもそも本質的な何かを取り出すことができるかといった先が見えない部分はあるが、人材育成を伴った強い研究力の発揮によりこれらが解決されると期待される。