2019 Fiscal Year Annual Research Report
Efficient large-scale robust optimization algorithms and their applications to machine learning
| Project/Area Number |
15K00031
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
武田 朗子 東京大学, 大学院情報理工学系研究科, 教授 (80361799)
|
|---|
| Project Period (FY) |
2015-04-01 – 2020-03-31
|
| Keywords | 非平滑非凸最適化問題 / DCアルゴリズム / システム同定 |
|---|
| Outline of Annual Research Achievements |
当初，予定していた多期間ロバスト最適化については，実データを用いた現実問題への適用まで至り，本研究課題研究は一段落ついた状況である．そこで，昨年度より，当初の研究計画の範囲を超えて，本研究課題で得られた研究成果（ロバスト最適化問題として表される非凸判別モデルに対する解法提案）に端を発した，より一般的な非凸最適化問題に対する効率的な解法研究に取り組み始めた．本年度は，補助事業期間の延長のもと，引き続き非凸最適化問題に対する解法について研究を行なった.
本年度は，下記の２つの研究課題について研究を行った．
[難しい構造を持つ最適化問題に対する効率的な１次法の考案]
難しい構造（例えば，微分不可能性や構造的スパース性）を持つ最適化問題して，その構造の特徴を生かした解法を構築し，大域収束性や収束の速さなどの理論保証を与えた．具体的には，制御分野でしばしば研究されているランク制約付きのシステム同定問題をより一般化した，複数のランク制約を持つ最適化問題に対して，ランク関数の近接写像が簡単に求まるという特徴を生かした１次法（勾配情報を利用した解法）を考案した．他にも，L0ノルム制約式を含む非凸非平滑最適化問題に対して，問題の特徴を利用した効率的解法の提案を行った．
[非凸非平滑最適化問題に対する確率的最適化法の提案]
機械学習分野では，大規模データを扱うために，勾配計算に基づく解法に対して勾配計算を確率的に行う解法が盛んに研究されている．これまでは，滑らかな（連続的微分可能な）目的関数を最小化する問題に対する確率的手法が研究されていたが，本研究課題において，滑らかな関数に非凸非平滑正則化項を足し合わせた目的関数を研究対象とし，その目的関数を最小化するための確率的解法を構築した．非凸非平滑な目的関数に対する確率的最適化法は，我々の調べた限り最初のものである．
|
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] Algorithm 9962019
Author(s)
Naoki Ito, Sunyoung Kim, Masakazu Kojima, Akiko Takeda, Kim-Chuan Toh
-
Journal Title
ACM Transactions on Mathematical Software
Volume: 45
Pages: 1～26
DOI
Peer Reviewed / Int'l Joint Research
-
-
-
-
-
-
-
-
