2020 Fiscal Year Annual Research Report
Developing efficient algorithms for nonconvex non smooth optimization and its application to machine learning
| Project/Area Number |
19H04069
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
武田 朗子 東京大学, 大学院情報理工学系研究科, 教授 (80361799)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Metel MichaelRos 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (40839081)
ロウレンソ ブルノ・フィゲラ 統計数理研究所, 数理・推論研究系, 准教授 (80778720)
Liu Tianxiang 東京工業大学, 情報理工学院, 助教 (90835216)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 非凸非平滑最適化 / ホモトピー法 / 確率的DCアルゴリズム |
|---|
| Outline of Annual Research Achievements |
[SDCAの2次錐や半正定値錐上でのスパース最適化問題への適用と収束解析]
我々のSDCAに関する一連の研究は，単純な問題設定での近接DCAの提案から始まり，現在は非凸非平滑最適化問題を解くまでに拡張されている．昨年度より，さらなる適用範囲の拡張を目指して研究を行った．例えば，ユークリッドジョルダン代数を用いることで，2次錐や半正定値錐を含む問題に対し，効率的にSDCAを適用できると考えている．本年度は，提案解法を2次錐や半正定値錐を含む問題に適用した場合の，アルゴリズムSDCAの改良について検討を行った．
[より良い解をもとめるため，ホモトピー法の開発]
現在，非凸非平滑最適化問題のために提案されている解法はいずれも停留解を求めるための解法であり，アルゴリズムの初期解によって得られる停留解がかなり異なることが利用者より指摘されている．この問題を解決すべく，非凸最適化法とホモトピー法を組み合わせることを検討した．パラメータを1つ導入して，解くべき問題を凸計画問題から元問題へと変形しつつ最適解を求めていく手法を考案した．具体的には，この変形した最適化問題の解を次の最適化問題の初期解として最急降下法を適用していく解法である. その提案解法に対して，より良い停留点への収束スピード等の理論保証を検討した．
[確率的な勾配計算を取り入れた確率的SDCA法の提案] 機械学習分野では，大規模データを扱うために，勾配計算に基づく解法に対して勾配計算を確率的に行うことが一つのトレンドとなっている．確率的に勾配を計算すると，計算時間を短くできるという利点のみならず，そのランダムネスにより局所解から抜け出すという効果も期待できる．２つの凸関数の差で表されるDC最適化問題と呼ばれる非凸最適化問題に対して，確率的勾配法：SDCAを構築し，確率的な勾配計算による収束解析を行なった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度の目標として掲げていた目標に対して，すべて取り組むことができた．「SDCAの2次錐や半正定値錐上でのスパース最適化問題への適用」については，まだ手法の見直しなど取り組むべき様々な課題はあるものの，他の課題については，ほぼ解決策が思いついている状況である．よって，概ね順調に進展しているといえる.
|
| Strategy for Future Research Activity |
[SDCAの2次錐や半正定値錐上の最適化問題への適用と収束解析]
SDCAに関する一連の研究は，現在は非凸非平滑最適化問題を解くまでに拡張されている．今年度，ユークリッドジョルダン代数を用いた， 2次錐や半正定値錐を含む最適化問題のための効率的SDCA解法の開発について検討を始めた．一方で，本課題に取り組む上で先に解決しなければならない課題（非連続な関数に対する微分の定義，計算方法など）が生じ，今年度は先にその研究を行った．当初の研究目的を遂行する準備が整ったため，SDCAを2次錐や半正定値錐を含む問題に適用した場合の，大域的収束性や収束のスピードについて解析したい.
[大域最適解に近い解を求めるための，SDCAホモトピー法の開発]
これまで開発された，勾配情報を利用した非線形最適化法の多くは停留解を求めるための解法であり，SDCAも同様の解法である．今後は，計算効率の向上のため，パラメータの変更と停留点を求めるための反復解法の実行を同時に行うことを検討する．同時にパラメータの変更を行うと理論保証が難しくなるが，研究対象とする最適化問題を限定することで，提案解法に対して，導出される解の質を保証するような理論保証を与えたい.
[確率的な勾配・ヘシアン行列計算を取り入れた確率的SDCA法の提案]
機械学習分野では，大規模データを扱うために，勾配計算に基づく解法に対して勾配計算を確率的に行うことが常套手段となっている．今年度の研究成果により，SDCAの勾配計算に確率的な勾配を用いる効果を確認した．今後は，勾配計算のみならずヘシアン行列計算を確率的に行い，SDCA解法に利用することで，確率的な理論保証（平均的な停留点への収束と最悪反復回数の見積もり）のついた効率的な解法を構築したい．
|
