Optimization of deep learning models using evolutionary computation methods based on analog circuits

• Project/Area Number: 24K15115
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61040:Soft computing-related
• Research Institution: Tokyo City University
• Principal Investigator: 中野 秀洋 東京都市大学, 情報工学部, 教授 (10386360)
• Co-Investigator(Kenkyū-buntansha): 神野 健哉 東京都市大学, 情報工学部, 教授 (50286762)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2026: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2025: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
• Keywords: ニューラルネットワーク / 進化計算 / アナログ回路

Outline of Research at the Start

高性能な物理最適化ソルバーを開発し、小規模パラメータの深層学習モデルの性能向上を目指す。近年の深層学習モデルはパラメータ数が大規模になっているため計算量とエネルギー消費が大きい問題がある。小規模モデルはその解決策となる可能性があるが、多峰性の損失関数による局所解が学習に与える影響が大きい。通常、学習に用いられる勾配法では局所解に拘束されやすい。そこで、局所解の影響を受けにくい進化計算アルゴリズムを採用する。ただし、進化計算は計算量が多いため、それをアナログ電子回路で効率よく実行する手法を提案する。この最適化ソルバーで深層学習を行うことは効率化と最適化に新たな方向性を提供する可能性がある。