深層ニューラルネットワークの情報統計力学

• 研究課題/領域番号: 21K18146
• 研究種目: 挑戦的研究(開拓)
• 配分区分: 基金
• 審査区分: 中区分13:物性物理学およびその関連分野
• 研究機関: 大阪大学
• 研究代表者: 吉野 元 大阪大学, サイバーメディアセンター, 准教授 (50335337)
• 研究期間 (年度): 2021-07-09 – 2024-03-31
• 研究課題ステータス: 交付 (2021年度)
• 配分額: 25,090千円 (直接経費: 19,300千円、間接経費: 5,790千円); 2023年度: 8,450千円 (直接経費: 6,500千円、間接経費: 1,950千円); 2022年度: 8,970千円 (直接経費: 6,900千円、間接経費: 2,070千円); 2021年度: 7,670千円 (直接経費: 5,900千円、間接経費: 1,770千円)
• キーワード: 深層学習 / ニューラルネットワーク / 情報統計力学

研究開始時の研究の概要

深層ニューラルネットワーク(DNN)による深層学習は、実用上大きな成功を収めているが、そのメカニズムは明らかになっておらず、未だにブラックボックスである。本研究では、ガラスなど強く乱れた系の物理学から派生した情報統計力学の理論手法によって、DNNによる深層学習のメカニズム解明を目指す。本研究では、まず、訓練データに適合した可能なDNNのデザインパターンの位相空間を考え、そこでの統計力学をレプリカ法によって展開する。またこの位相空間における学習ダイナミックスに関する動的平均場理論を構築し、解析する。さらにこれらの理論結果を、大規模数値シミュレーションによって検証する。