Statistical mechanics approach to high-dimensional machine learning

• Project Area: Foundation of "Machine Learning Physics" --- Revolutionary Transformation of Fundamental Physics by A New Field Integrating Machine Learning and Physics
• Project/Area Number: 22H05117
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (II)
• Research Institution: The University of Tokyo
• Principal Investigator: 樺島 祥介 東京大学, 大学院理学系研究科(理学部), 教授 (80260652)
• Co-Investigator(Kenkyū-buntansha): 小渕 智之 京都大学, 情報学研究科, 准教授 (40588448) ; 吉野 元 大阪大学, サイバーメディアセンター, 教授 (50335337) ; 坂田 綾香 統計数理研究所, 統計基盤数理研究系, 准教授 (80733071)
• Project Period (FY): 2022-06-16 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥134,160,000 (Direct Cost: ¥103,200,000、Indirect Cost: ¥30,960,000); Fiscal Year 2024: ¥26,390,000 (Direct Cost: ¥20,300,000、Indirect Cost: ¥6,090,000); Fiscal Year 2023: ¥26,520,000 (Direct Cost: ¥20,400,000、Indirect Cost: ¥6,120,000); Fiscal Year 2022: ¥26,910,000 (Direct Cost: ¥20,700,000、Indirect Cost: ¥6,210,000)
• Keywords: レプリカ法 / キャビティ法 / 深層学習 / アルゴリズム開発 / 性能分析

Outline of Research at the Start

機械学習では、データに学習パラメータをフィットさせることで、その背後に潜む規則を学習器に写し取ります。近年、データが大量かつ高次元化することに伴い、学習器に用いられる関数も多数のパラメータを含む複雑なものへと進化してきました。こうした進化はフィッティングに要する計算コストの増大や複雑性に伴う性能保証の難しさという課題を生み出しています。我々の研究ではこれらの課題を統計力学の概念や技術を用いることで解決します。