Development of nonlinear semidefinite optimization theory and application to machine learning
| Project/Area Number |
20K19748
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 60020:Mathematical informatics-related
|
|---|
| Research Institution | Seikei University (2022)
Institute of Physical and Chemical Research (2020-2021) |
|---|
Principal Investigator |
奥野 貴之 成蹊大学, 理工学部, 准教授 (70711969)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | レーベンバーグ・マルカート法 / オラクル計算量 / ２次収束性 / リーマン多様体 / 正定錐上の最適化 / 非線形半正定値最適化問題 / 内点法 / 中心パス / 逐次２次最適化法 / 線形システム同定問題 / 非線形半正定値最適化 / 制約想定 / Monteiro-Tsuciya方向族 / ２次の停留点 / 非平滑最適化 / 機械学習 / ハイパーパラメータ学習 |
|---|
| Outline of Research at the Start |
本研究課題では, 与えられた行列値関数が半正定値対称行列となるような制約領域上で関数の最小化問題である非線形半正定値最適化問題(以下, NSDP)を取り扱う. とくに, これまでは取り扱いが難しかった機械学習などで出現する幅広い問題形式への対応を目指して, NSDPの理論とアルゴリズムを発展させていく. また, 機械学習で現れる実問題などを対象にした数値シミュレーションを行うことで, 提案したアルゴリズムや理論の有効性及びその実装方法について詳しく調査を行う.
|
| Outline of Annual Research Achievements |
2022年度では, 非線形最適化問題の最重要クラスの一つである最小２乗問題に着目し、とくにその問題に対する数値解法の一つであるレーベンバーグ・マルカート法（以下、LM法）のアルゴリズムの改良型について以下２点の研究を行い、いすれも最適化の国際論文誌に投稿中である。なお、新たに開発した両アルゴリズムとも本研究課題の対象である半正定値錐上の最小２乗問題に適用可能である。
１. 加速勾配法に基づいた一般化LM法とそのオラクル計算量保証と２次収束性保証の両立
２．リーマン多様体上のLM法の開発と理論保証
まず１についてであるが、LM法は或る強凸最適化問題を部分問題として繰返し近似的に解くことで元問題の解へ収束する点列を生成するアルゴリズムである。その近似精度と元問題の解への２次収束性の関係、全体の計算量の見積もりと近似精度の関係は各々知られているものの、両性質を担保できる近似精度の設定は不明だった。提案LM法では、２次収束性と全体の計算量の保証が両方可能な近似精度の設定方法を明らかにした。なお、本LM法は最小２乗問題だけでなく、より一般的なクラスである最小化問題に適用可能である。２の研究ではユークリッド空間上のみで論じられてきたLM法をより一般的な空間であるリーマン多様体に拡張した。本LM法に対して、大域的収束性に加えエラーバウンド条件という緩い条件下で２次収束性を証明した。両手法とも機械学習などで現れる問題に対して適用し、既存のLM法やニュートン法などと比較して優れた性能を発揮することを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度の研究では、当研究課題の対象である非線形半正定値最適化問題（以下、NSDP）よりもレーベンバーグ・マルカート法（LM法）の発展が中心である。しかしながら、新たに開発した手法はNSDPの中でも半正定値錐上の最小２乗問題に対して適用可能である。特に、「研究実績の概要」で述べた研究１におけるLM法は最小２乗問題だけでなく、ある種の微分不可能な関数の最適化問題に対しても適用可能であり、当該研究課題の大きな目標の一つである「非平滑関数を備えたNSDPに対する収束性をもつアルゴリズムの開発」に関して限定的ではあるものの大きな寄与がある。以上から鑑みて研究は概ね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
今後の方向性として
1.従来よりも弱い条件下での非線形半正定値最適化問題（NSDP）に対する超１次収束性を備えた主双対内点法の提案
2. 非平滑関数をもつNSDPに対するアルゴリズムの開発
が挙げられる。１は, 2021年度報告書で挙げた方向性そのものであるが、当該年度においては着手できなかったものである。２については、当該年度で行ったLM法の研究は微分不可能なNSDPも対象とはしているものの、その適用範囲は制約条件に凸性を仮定するなどやや限定的であり、それだけでは実世界で現れる問題への対応は難しい。より一般的なクラスにも対応可能なアルゴリズムを開発していくつもりである。
|
Report
(3 results)
Research Products
(13 results)
