Statistical Mechanical Informatics of Deep Neural Networks

• Project/Area Number: 21K18146
• Research Category: Grant-in-Aid for Challenging Research (Pioneering)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 13:Condensed matter physics and related fields
• Research Institution: Osaka University
• Principal Investigator: 吉野 元 大阪大学, サイバーメディアセンター, 准教授 (50335337)
• Project Period (FY): 2021-07-09 – 2024-03-31
• Project Status: Granted (Fiscal Year 2021)
• Budget Amount: ¥25,090,000 (Direct Cost: ¥19,300,000、Indirect Cost: ¥5,790,000); Fiscal Year 2023: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000); Fiscal Year 2022: ¥8,970,000 (Direct Cost: ¥6,900,000、Indirect Cost: ¥2,070,000); Fiscal Year 2021: ¥7,670,000 (Direct Cost: ¥5,900,000、Indirect Cost: ¥1,770,000)
• Keywords: 深層学習 / ニューラルネットワーク / 情報統計力学

Outline of Research at the Start

深層ニューラルネットワーク(DNN)による深層学習は、実用上大きな成功を収めているが、そのメカニズムは明らかになっておらず、未だにブラックボックスである。本研究では、ガラスなど強く乱れた系の物理学から派生した情報統計力学の理論手法によって、DNNによる深層学習のメカニズム解明を目指す。本研究では、まず、訓練データに適合した可能なDNNのデザインパターンの位相空間を考え、そこでの統計力学をレプリカ法によって展開する。またこの位相空間における学習ダイナミックスに関する動的平均場理論を構築し、解析する。さらにこれらの理論結果を、大規模数値シミュレーションによって検証する。