| 研究課題/領域番号 |
19H04069
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60020:数理情報学関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
武田 朗子 東京大学, 大学院情報理工学系研究科, 教授 (80361799)
|
|---|
| 研究分担者 |
ロウレンソ ブルノ・フィゲラ 統計数理研究所, 数理・推論研究系, 准教授 (80778720)
Liu Tianxiang 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (90835216)
Metel MichaelRos 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (40839081)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
14,820千円 (直接経費: 11,400千円、間接経費: 3,420千円)
2022年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2021年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2020年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2019年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
|
|---|
| キーワード | 非凸非平滑最適化 / 錐最適化問題 / ランダム行列理論 / ２段階最適化問題 / 機械学習 / ホモトピー法 / ペナルティ法 / 確率的DCアルゴリズム / 低ランクスパース最適化 |
|---|
| 研究開始時の研究の概要 |
L_0ノルムやランク関数は非凸関数であり，そのような関数を目的関数や制約式に含むスパース最適化問題は，一般にはNP困難であることが知られている．最近，我々は，スパース最適化問題を含む広いクラスの問題に対して，勾配計算に基づく効率的な解法SDCAを提案した．非凸スパース最適化法の研究は始まったばかりで，実用化に向けて様々な課題が残されている．本研究では，SDCAの効率化，そして，最適解により近い解を求めるためのSDCAの改良を目指す．効率性と高い近似精度は相反する特徴であり，両方を兼ね揃えた解法の開発は簡単ではないものの，これまでの大域最適化における研究成果を生かして解法の開発を行なう．
|
| 研究実績の概要 |
主に以下の3つのトピックスに取り組んだ.
[大域最適解に近い解を求めるための，SDCAホモトピー法の開発] これまで開発された，勾配情報を利用した非線形最適化法の多くは停留解を求めるための解法であり，SDCAも同様の解法である．非凸スパース最適化問題にSDCAを適用すると，アルゴリズムの初期解によって得られる停留解がかなり異なることが確認される．そこで，SDCAとホモトピー法を組み合わせることを検討し，現在，効率的な解法を構築した段階である．具体的には，パラメータを1つ導入して，簡単な凸最適化問題から解くべき非凸最適化問題へと連続変形させつつ，その停留点のパスを追っていく解法である．本年度は，計算効率の向上のため，パラメータの変更と停留点を求めるための反復解法の実行を同時に行うことを検討した．同時にパラメータの変更を行うと，理論保証が難しくなるが，研究対象とする最適化問題を限定することで，提案解法より導出される解について，理論的保証を与えることができた．
[確率的な勾配・ヘシアン行列計算を取り入れた確率的SDCA法の提案] 機械学習分野では，大規模データを扱うために，勾配計算に基づく解法に対して勾配計算を確率的に行うことが常套手段となっている．本年度の研究成果により，SDCAの勾配計算に確率的な勾配を用いる効果を確認した．さらに確率的勾配を用いて近似ヘシアン行列を構築し，解法で利用することにより，解法の高速化が達成されることを確認した．
[SDCAの2次錐や半正定値錐上の最適化問題への適用と収束解析] SDCAに関する一連の研究は，現在は非凸非平滑最適化問題を解くまでに拡張されている．以前より，ユークリッドジョルダン代数を用いた， 2次錐や半正定値錐を含む最適化問題のための効率的SDCA解法の開発について検討を進めた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
以前から遂行している研究課題「SDCAの2次錐や半正定値錐上の最適化問題への適用と収束解析」は，想定していたよりも数学的に難しい点が多く，まだ思うような成果が挙げられていない．ようやく，当初の研究目的を遂行する準備が整ったため，今後，これまでの研究目標に従って，大域的収束性や収束のスピードについて解析したい．また他の研究課題に関しては順調に進み，「次元縮小による大規模非凸最適化解法の構築」という新しい課題につながった．順調に研究が進展していると考えている．
|
| 今後の研究の推進方策 |
[SDCAの2次錐や半正定値錐上の最適化問題への適用と収束解析] 以前の研究で我々が考案した，非凸非平滑最適化問題を解くための解法SDCAを，ユークリッドジョルダン代数を用いた2次錐・半正定値錐を含む最適化問題に適用すべく，アルゴリズム開発を始めた段階である．今後は，SDCAを2次錐や半正定値錐を含む問題に適用した場合の，大域的収束性や収束のスピードについて解析したい．
[次元縮小による大規模非凸最適化解法の提案] これまで様々なタイプの非凸非平滑最適化問題に対してSDCA解法の適用を検討してきた．更なる解法の高速化に向けて，ランダム行列を用いて問題の次元を縮小することを検討したい．今後，ランダム行列を用いて扱う最適化問題のサイズを縮小し，元問題の最適値との差を高確率で保証する方法を開発したい．ある特別なクラスの凸計画問題に対してそのような次元縮小方法は既に提案されているが，非凸最適化問題になると厳密解を得る解法の構築自体が難しくなるので，これまでほとんど研究がされていない．今後この課題に取り組んでいきたい．
[確率的2段階最適化法の提案] 機械学習分野では，大規模データを扱うために，勾配計算を確率的に行う確率的勾配法がしばしば用いられる．本研究課題を通して，確率的な勾配を用いるアルゴリズムの効果を確認した．今後は，難しい問題設定である2段階最適化問題に対して， 確率的な非凸最適化アルゴリズムを考案し，確率的な理論保証（平均的な停留点への収束と最悪反復回数の見積もり）のついた効率的な解法を構築したい. 2段階最適化アルゴリズムでは，確率的な計算に基づくヘシアン行列の計算が生じるため，これまでの1段階の最適化問題に対する理論保証と比べ，2段階最適化問題に対する理論保証は非常に難しいと思われる．確率的なヘシアン行列を用いた解法の理論保証などを参考にして研究を遂行したい.
|
