| 研究課題/領域番号 |
19H04069
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
武田 朗子 東京大学, 大学院情報理工学系研究科, 教授 (80361799)
|
|---|
| 研究分担者 |
Metel MichaelRos 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (40839081)
ロウレンソ ブルノ・フィゲラ 東京大学, 大学院情報理工学系研究科, 助教 (80778720)
Liu Tianxiang 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (90835216)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| キーワード | 非凸非平滑最適化 / 機械学習 / ペナルティ法 |
|---|
| 研究実績の概要 |
主に，以下の2つのトピックスに取り組んだ.
[実行可能解を求めるための発見的解法とSDCAを組み合わせた高速SDCA]
SDCAは勾配計算に基づく解法で，1次法と呼ばれる解法の一つである．1次法は大規模な問題を扱える反面，解への収束が遅いという欠点がある．特に，SDCAはペナルティ法と組み合わせているため，十分に収束させてアルゴリズムを終了しないと，制約式を満たす解が得られなくなっ てしまう．しかし，収束が遅い上に十分収束させる必要があるとなると，規模の大きな問題を現実的な時間で解くことはできない．そこで，早い段階でSDCAの反復を終了させ，そのあと事後処理プロセスとして交互射影法に切り替えて実行可能解を求める，というアルゴリズムを構築した．SDCAから交互射影法に解法を切り替えるタイミングについては，反復法における収束判定条件の設定の際にしばしば用いられるエラーバウンドの基準を用いることで，提案手法の収束性について理論的な保証を与えた．本研究成果のうち，理論的な面についての論文は数値計算分野の国際雑誌に投稿し，また数値実験による実践的な面については制御分野の国際雑誌に投稿中である．
[SDCAの2次錐や半正定値錐上でのスパース最適化問題への拡張]
我々のSDCAに関する一連の研究は，単純な問題設定での近接DCAの提案から始まり，現在は非凸非平滑最適化問題を解くまでに拡張されている．さらなる適用範囲の拡張を目指して研究を行っている．例えば，ユークリッドジョルダン代数を用いることで，2次錐や半正定値錐を含む問題に対し，効率的にSDCAを適用できると考えている．解法の開発については進んでいるものの，提案解法に対して理論的な保証を与えるまでに至っていない．今後，提案解法を2次錐や半正定値錐を含む問題に適用した場合の，大域的収束性や収束の速さについて解析したい.
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
2次錐や半正定値錐上でのスパース最適化問題のためのSDCA法の収束解析については年度内に完成できなかったものの，解法の考案には至っている．また，逆に，来年度予定している課題「確率的な勾配計算を取り入れた確率的SDCA法の提案」については，前準備として，すでに検討を始めている．よって，概ね順調に進展しているといえる．
|
| 今後の研究の推進方策 |
[SDCAの2次錐や半正定値錐上でのスパース最適化問題への適用と収束解析]
引き続き，2次錐や半正定値錐上でのスパース最適化問題のためのSDCA法について理論的な保証（大域的収束性や収束の速さ）を与えるべく研究を行なう．また，理論的な評価を終えた後，実データを用いて2次錐や半正定値錐上でのスパース最適化問題を解き，解法の実用性について確認したい．
[より “良い” 解をもとめるためのSDCA ホモトピー法の開発]
現在，非凸非平滑最適化問題のために提案されている解法はいずれも停留解を求めるための解法であり，アルゴリズムの初期解によって得られる停留解はかなり異なるという問題点が確認されている．これは実用上問題であり，本年度の課題として解決法を探っていきたい．まず最初に，SDCAとホモトピー法を組み合わせることを検討する．ホモトピー法の考え方に従い，この変形した最適化問題の解を次の最適化問題の初期解としてSDCAを適用し，変形した最適化問題を徐々に元の非凸最適化問題に近づけてやれば，高速に良い解を見つけることが期待できる．
[確率的な勾配計算を取り入れた確率的SDCA法の提案]
機械学習分野では，大規模データを扱うために，勾配計算に基づく解法に対して勾配計算を確率的に行うことが一つのトレンドとなっている． 確率的に勾配を計算すると，計算時間を短くできるという利点のみならず，そのランダムネスにより局所解から抜け出すという効果も期待できる．SDCAも勾配計算に基づく解法であり，勾配計算を確率的に行うことは可能である．そこで，本年度の成果である「エラーバウンドによる収束評価」を用いて，確率的な勾配計算による収束解析を行いたい．
|
