2018 Fiscal Year Research-status Report
大規模ロバスト最適化問題に対する効率的解法と機械学習への応用
| Project/Area Number |
15K00031
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
武田 朗子 東京大学, 大学院情報理工学系研究科, 教授 (80361799)
|
|---|
| Project Period (FY) |
2015-04-01 – 2020-03-31
|
| Keywords | 非平滑非凸最適化問題 / DCアルゴリズム / 外れ値検出 / システム同定 |
|---|
| Outline of Annual Research Achievements |
多期間ロバスト最適化については現実問題への適用まで至り，本研究課題において一段落ついた状況である．本年度は，数年前に得られた研究成果（ロバスト最適化問題として表される非凸判別モデルに対する解法提案）に端を発して，より一般的な非凸最適化問題のための一次法に基づく効率的解法：DC（difference-of-convex）アルゴリズムについて研究を行った．具体的には，下記の成果が得られた．
（１）難しい構造（例えば，微分不可能性や構造的スパース性）を持つ最適化問題に対して，効率的な一次法を考案し，大域収束性や収束の速さなどの理論保証を与えた．（２）外れ値検出問題やシステム同定問題に特化して（１）の提案手法を改良した．
（１）については，これまで非平滑非凸な項を複数含む最適化問題に対して，効率的な一次法は提案されていなかった．本研究では，非平滑非凸な項に対してMoreau包絡関数，そしてのそのDC分解を利用して等価な問題に変形し，DCアルゴリズムを適用することを提案した．機械学習分野でよく用いられる非平滑非凸正則化項付き最適化問題に対して，DCアルゴリズムの各反復で解かれる子問題が閉形式を持つことを理論的に示し，さらに数値実験を通して，停留解が高速に求まることを確認した．
（２）（１）の提案手法を外れ値検出問題やシステム同定問題に適用するためには，DCアルゴリズムの各反復で解かれる子問題が閉形式を持つように，うまく問題を等価変形する必要がある．さらに，アルゴリズムの収束性を保証するためには，それらの定式化においていくつかの前提条件が成り立つことを確認する必要がある．これらについて理論的に確認するとともに，提案手法の計算性能を他手法と比較することにより，提案手法の優位性を検証した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初，予定していた多期間ロバスト最適化については，実データを用いた現実問題への適用まで至り，本研究課題において一段落ついた状況である．そこで，当初の研究計画の範囲を超えて，数年前に得られた研究成果（ロバスト最適化問題として表される非凸判別モデルに対する解法提案）に端を発した，より一般的な非凸最適化問題に対する効率的な解法について研究を行っている．
非凸最適化問題に対する効率的解法の研究成果は数理最適化，機械学習分野で高く評価されている．実際に，2018年に最適化分野の国際一流雑誌であるMathematical Programmingに採択され，また，機械学習分野への応用研究についてはICML2018に採択された．
よって，当初の計画以上に進展している．
|
| Strategy for Future Research Activity |
一般的な非凸最適化問題に対する効率的な解法については，まだ解決すべき課題が山積みの状況のため，今後も，一般的な非凸最適化問題に対する効率的な解法について研究を行う予定である．
（１）難しい構造（例えば，微分不可能性や構造的スパース性）を持つ最適化問題に対して確率的解法の提案，（２）より広いクラスの最適化問題に対するDCアルゴリズムの提案，（３）よりよい停留解を求めるための解法の工夫
（１）については，大規模データにより生じる大規模非平滑非凸最適化問題を念頭におき，DCアルゴリズムの確率最適化解法を提案する．データサイズが増大すると，DCアルゴリズムに必要な勾配ベクトルの計算さえも困難になる．そこで確率的に停留解に収束する確率的解法を提案し，その収束スピードを理論的に解析したい．また，大規模データを用いて，確率的解法の性能を確認したい．
（２）現状では，所与の応用問題に対して，DCアルゴリズムの各反復で解かれる子問題が閉形式を持つように，うまく問題を等価変形する必要がある．そこで，ユークリッド的ジョルダン代数の枠組みを用いて，様々な問題に対して統一的な定式化を与える．その統一的定式化に対してアルゴリズムの提案，収束性の解析を行えば，含まれる個々の問題に対して統一的に理論保証付きアルゴリズムの提案が行える．今後は，この広い枠組みを想定して，DCアルゴリズムの開発を行う．
（３）現状のDCアルゴリズムは非常に計算時間が短いのが特徴である．しかし，それは勾配情報のみを用いた解法であるため，得られる解は停留解の保証を持つものの，実問題に適用してみると得られた解の質があまりよくないケースが見られる．そこで，少し計算時間をかけることを許容して，最適値に近い解が得ることが，実用上，求められている．今後は，DCアルゴリズムに対して，よりよい停留解を求めるための工夫を解法に加えていきたい．
|
| Causes of Carryover |
当初の計画通り，非凸な統一的判別モデルに対する効率的解法を検討するうちに，非常に有益な研究成果が得られた．具体的には，非凸な統一的判別モデルを含む，より一般的なクラスの最適化問題に対して，初めて効率的な一次法を構築することができた．本手法に対し，機械学習や信号処理分野への応用が期待されている．そこで，本手法の応用を目的として期間延長を行い，本成果について学会発表．そして論文投稿を行う．本年度の予算は，学会発表に必要な旅費，登壇料や論文校正代として利用したい．
|
