Developing efficient algorithms for nonconvex non smooth optimization and its application to machine learning

2023 Fiscal Year Final Research Report

• Project/Area Number: 19H04069
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60020:Mathematical informatics-related
• Research Institution: The University of Tokyo
• Principal Investigator: Takeda Akiko 東京大学, 大学院情報理工学系研究科, 教授 (80361799)
• Co-Investigator(Kenkyū-buntansha): ロウレンソ ブルノ・フィゲラ 統計数理研究所, 数理・推論研究系, 准教授 (80778720) ; Liu Tianxiang 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (90835216) ; Metel MichaelRos 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (40839081)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 非凸非平滑最適化 / 機械学習 / DC最適化 / 最悪反復計算量 / 大域収束性 / 確率最適化

Outline of Final Research Achievements

The sparse optimization problem is a typical example of a nonsmooth nonconvex optimization problem, which has two intractable characteristics: nonconvexity and non-differentiability. In this research project, we have developed a solution method that combines the Successive Difference-of-Convex Approximation method (SDCA) with the homotopy method to achieve both "efficiency" and "high approximation accuracy". Furthermore, by simultaneously changing the parameters and performing iterative update to find a stationary point to improve computational efficiency, we were able to construct an algorithm with a theoretical convergence rate that is comparable to that of ordinary nonlinear optimization methods.

Free Research Field

数理最適化

Academic Significance and Societal Importance of the Research Achievements

非凸非平滑最適化問題に対して， 効率性，高い近似精度の両方を兼ね揃えた解法の提案することを目標に掲げて研究を遂行した．解くべき問題を凸計画問題から元問題の非凸最適化問題へと変形しつつ最適解を求めていくという，ホモトピー法のアイディアを取り入れることで，両方の特徴を兼ね備えた解法の構築が可能になった．現実問題には非凸最適化問題として定式化される場合がしばしばあるが，既存の非凸最適化法を用いると，用いる初期解によって得られる解がかなり異なるため，応用上使いにくい場合も多い．本研究成果により，この非凸性による欠点がある程度解消されるため，十分に社会的意義もある成果と自己評価している．