2022 Fiscal Year Annual Research Report
Developing efficient algorithms for nonconvex non smooth optimization and its application to machine learning
| Project/Area Number |
19H04069
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
武田 朗子 東京大学, 大学院情報理工学系研究科, 教授 (80361799)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
ロウレンソ ブルノ・フィゲラ 統計数理研究所, 数理・推論研究系, 准教授 (80778720)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 非凸非平滑最適化 / 錐最適化問題 / ランダム行列理論 |
|---|
| Outline of Annual Research Achievements |
研究実施計画に記したように，3つのトピックスに取り組み，それぞれについて，成果が得られた．
[SDCAの2次錐や半正定値錐上の最適化問題への適用と収束解析] ユークリッドジョルダン代数を用いた2次錐・半正定値錐を含む最適化問題のための１次法を構築すべく，２年前より研究を行っていた．ようやく，また既存手法より速い解法の構築ができた．大域的収束性の保証を与えるとともに，数値実験を通して，p次錐を含む問題に適用して収束スピードを確認した．本成果は現在，論文雑誌に投稿のために，論文執筆している段階である．
[次元縮小による大規模非凸最適化解法の提案] 本研究課題にて，これまで様々なタイプの非凸非平滑最適化問題に対してSDCA解法の適用を検討してきた．本年度は，更なる解法の高速化に向けて，ランダム行列を用いた問題の次元縮小を検討した．ランダム行列を用いて，扱う最適化問題のサイズを縮小し，元問題の最適値との解法によって得られる解の関数値の差を高確率で保証する方法が知られているが，非凸最適化問題については厳密解を得る解法の構築自体が難しくなるので，これまでほとんど研究がされていなかった．本研究課題では，非凸最適化問題を次元縮小したあとに凸近似しすることを検討した．これをアルゴリズムの各反復で行うことにより，部分空間アルゴリズムを構築できた．本成果は現在，論文執筆を終え，論文雑誌に投稿している状況である．
[確率的2段階最適化法の提案] 機械学習分野では，大規模データを扱うために，勾配計算を確率的に行う確率的勾配法がしばしば用いられる．本年度は，2段階最適化問題に対して， 確率的な非凸最適化アルゴリズムを考案し，確率的な理論保証のついた効率的な解法を構築する予定であった．2段階最適化解法を構築したものの，今まだ収束性保証の理論解析に取り組んでいるところである．今後の研究課題としたい．
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
