Deepening the analysis of deep learning through functional space theory

• Project/Area Number: 24K21316
• Research Category: Grant-in-Aid for Challenging Research (Pioneering)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 60:Information science, computer engineering, and related fields
• Research Institution: Ehime University
• Principal Investigator: 石川 勲 愛媛大学, データサイエンスセンター, 准教授 (80804236)
• Co-Investigator(Kenkyū-buntansha): 池田 正弘 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (00749690) ; 園田 翔 国立研究開発法人理化学研究所, 革新知能統合研究センター, 上級研究員 (00801218) ; 谷口 晃一 静岡大学, 工学部, 准教授 (60856235)
• Project Period (FY): 2024-06-28 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥25,870,000 (Direct Cost: ¥19,900,000、Indirect Cost: ¥5,970,000); Fiscal Year 2027: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000); Fiscal Year 2026: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000); Fiscal Year 2025: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000); Fiscal Year 2024: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
• Keywords: 深層学習 / 力学系 / Koopman作用素 / Besov空間 / 再生核Hilbert空間

Outline of Research at the Start

本研究は、解析学の諸分野で発展している関数空間論を導入し、深層学習を解析するための新たな理論基盤を創出することを目的としている。本研究では、深層学習の推論における入力から出力に至る信号の伝搬や学習の逐次的なパラメータの更新などを力学系として定式化する。さらに、力学系をKoopman作用素と呼ばれる線形作用素として表現し、関数空間論を通して力学系に内在する構造を解析する。これにより、解析学と機械学習双方で培われた知見を繋ぎ合わせ、深層学習の高い汎化性能やその複雑な学習過程にまつわる謎を解明し、深層学習をさらに深化させる理論体系を構築することを目指す。