2022 Fiscal Year Research-status Report
Development of nonlinear semidefinite optimization theory and application to machine learning
| Project/Area Number |
20K19748
|
|---|
| Research Institution | Seikei University |
|---|
Principal Investigator |
奥野 貴之 成蹊大学, 理工学部, 准教授 (70711969)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | レーベンバーグ・マルカート法 / オラクル計算量 / ２次収束性 / リーマン多様体 / 正定錐上の最適化 |
|---|
| Outline of Annual Research Achievements |
2022年度では, 非線形最適化問題の最重要クラスの一つである最小２乗問題に着目し、とくにその問題に対する数値解法の一つであるレーベンバーグ・マルカート法（以下、LM法）のアルゴリズムの改良型について以下２点の研究を行い、いすれも最適化の国際論文誌に投稿中である。なお、新たに開発した両アルゴリズムとも本研究課題の対象である半正定値錐上の最小２乗問題に適用可能である。
１. 加速勾配法に基づいた一般化LM法とそのオラクル計算量保証と２次収束性保証の両立
２．リーマン多様体上のLM法の開発と理論保証
まず１についてであるが、LM法は或る強凸最適化問題を部分問題として繰返し近似的に解くことで元問題の解へ収束する点列を生成するアルゴリズムである。その近似精度と元問題の解への２次収束性の関係、全体の計算量の見積もりと近似精度の関係は各々知られているものの、両性質を担保できる近似精度の設定は不明だった。提案LM法では、２次収束性と全体の計算量の保証が両方可能な近似精度の設定方法を明らかにした。なお、本LM法は最小２乗問題だけでなく、より一般的なクラスである最小化問題に適用可能である。２の研究ではユークリッド空間上のみで論じられてきたLM法をより一般的な空間であるリーマン多様体に拡張した。本LM法に対して、大域的収束性に加えエラーバウンド条件という緩い条件下で２次収束性を証明した。両手法とも機械学習などで現れる問題に対して適用し、既存のLM法やニュートン法などと比較して優れた性能を発揮することを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度の研究では、当研究課題の対象である非線形半正定値最適化問題（以下、NSDP）よりもレーベンバーグ・マルカート法（LM法）の発展が中心である。しかしながら、新たに開発した手法はNSDPの中でも半正定値錐上の最小２乗問題に対して適用可能である。特に、「研究実績の概要」で述べた研究１におけるLM法は最小２乗問題だけでなく、ある種の微分不可能な関数の最適化問題に対しても適用可能であり、当該研究課題の大きな目標の一つである「非平滑関数を備えたNSDPに対する収束性をもつアルゴリズムの開発」に関して限定的ではあるものの大きな寄与がある。以上から鑑みて研究は概ね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
今後の方向性として
1.従来よりも弱い条件下での非線形半正定値最適化問題（NSDP）に対する超１次収束性を備えた主双対内点法の提案
2. 非平滑関数をもつNSDPに対するアルゴリズムの開発
が挙げられる。１は, 2021年度報告書で挙げた方向性そのものであるが、当該年度においては着手できなかったものである。２については、当該年度で行ったLM法の研究は微分不可能なNSDPも対象とはしているものの、その適用範囲は制約条件に凸性を仮定するなどやや限定的であり、それだけでは実世界で現れる問題への対応は難しい。より一般的なクラスにも対応可能なアルゴリズムを開発していくつもりである。
|
| Causes of Carryover |
2022年度は, 現所属へと変更になった初年度ということもあり授業等学内業務等のために当初予定していた海外出張や国内出張に行くことができなかったことが大きな要因である。2023年度は旅費に多く支出し、現地参加を積極的に行い、研究交流を通して課題を遂行するつもりである
|
Research Products
(6 results)
