Development of large-scale bilevel optimization algorithms and their applications to machine learning

• Project/Area Number: 25K15008
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60020:Mathematical informatics-related
• Research Institution: Seikei University
• Principal Investigator: 奥野 貴之 成蹊大学, 理工学部, 准教授 (70711969)
• Project Period (FY): 2025-04-01 – 2030-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2029: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2028: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2027: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2026: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
• Keywords: 2段階最適化 / 錐最適化 / 勾配法

Outline of Research at the Start

2段階最適化問題（以下, BOP）とは, 一部の決定変数が, 下位問題と呼ばれる別の最適化問題の解であることを制約条件とし, 目的関数の最小化を行う問題である. 本研究では, 機械学習におけるハイパーパラメータ学習に現れる, 下位問題が微分可能な関数を持つような複雑な構造を備えたBOPを対象とし, それを解くためのアルゴリズムの開発を行う. 特に, 変数の数が非常に多いBOPにも対応可能な実用性の高いアルゴリズムを目指す. さらに, アルゴリズムが求める解の最適性保証や, 解に到達するまでの計算量解析など, 理論的な性能評価も行う.