Development and deepening of nonlinear optimization in machine learning

2023 Fiscal Year Final Research Report

• Project/Area Number: 20K14986
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 25010:Social systems engineering-related
• Research Institution: The University of Electro-Communications (2022-2023); Chuo University (2020-2021)
• Principal Investigator: Nakayama Shummin 電気通信大学, i－パワードエネルギー・システム研究センター, 助教 (90847196)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 非線形関数 / 非平滑最適化 / 近接勾配法 / ニュートン型近接勾配法 / ２次法

Outline of Final Research Achievements

Various nonlinear optimization problems appear in machine learning, and algorithms to solve these problems are necessary. This research focuses on studying nonlinear optimization, specifically proximal Newton-type methods for solving sparse optimization problems. The proximal Newton-type method is an algorithm for optimization problems where the objective function is sum of a smooth function and a non-smooth function. Proximal gradient methods, based on the gradient descent method that uses only the first order information of the smooth function, require many iterations to obtain the solution to the original problem. In this study, we focus on proximal Newton-type methods that use second order information, and we are developing new algorithms.

Free Research Field

非線形最適化

Academic Significance and Societal Importance of the Research Achievements

本研究では、スパース最適化を中心に機械学習で登場する様々な非線形最適化問題に対するアルゴリズムの開発および大域的収束性などの数学的な理論保証を行なった。汎化性能の高い機械学習モデルは複雑かつ大規模な問題であるため、このような問題に対する数値計算アルゴリズムの提案と理論保証は重要であり、社会の様々な場面で役立っている。さらには、今回開発したアルゴリズムのアイデアや数学的な理論保証は、今後の非線形最適化を扱う分野でも重要な役割を担うことが期待される。以上のことから、本研究の学術的意義は大きい。