Fisher情報行列と記述長最小原理に基づく深層学習の理論と実践

2023 Fiscal Year Comments on the Screening Results

• Project/Area Number: 23H05492
• Research Category: Grant-in-Aid for Scientific Research (S)
• Allocation Type: Single-year Grants
• Review Section: Broad Section J
• Research Institution: Kyushu University
• Principal Investigator: 竹内 純一 九州大学, システム情報科学研究院, 教授 (80432871)
• Co-Investigator(Kenkyū-buntansha): 武石 啓成 九州大学, システム情報科学研究院, 助教 (00963779) ; 三村 和史 広島市立大学, 情報科学研究科, 教授 (40353297) ; 村田 昇 早稲田大学, 理工学術院, 教授 (60242038) ; 長岡 浩司 電気通信大学, その他部局等, 名誉教授 (80192235)
• Project Period (FY): 2023-04-12 – 2028-03-31

Summary of the Research Project

本研究は、深層学習の理論基盤を構築しようという研究である。研究代表者らが発見した２層ニューラルネットのFisher情報行列の近似固有値分解に基づき、汎化誤差がO（d^2）（dは入力の次元）の証明、パラメータ数の増加に伴う「二重降下現象」の直感的理解、固有値グループ化と自然勾配との関係、３層以上のニューラルネットへの拡張、学習法設計を行うものである。

Scientific Significance and Expected Research Achievements

近年の深層学習の爆発的な発達と普及に比べ、基礎理論の進展による数理的側面の解明は世界的に見ても遅れており、本研究ではシンプルなケースから出発し、数理構造の解明から深層学習の有効性のメカニズム解明への基礎を作ることに学術的意義が認められる。２層での結果を多層構造に拡張できるか、そもそも本質的な何かを取り出すことができるかといった先が見えない部分はあるが、人材育成を伴った強い研究力の発揮によりこれらが解決されると期待される。