| Project/Area Number |
19H04069
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60020:Mathematical informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
武田 朗子 東京大学, 大学院情報理工学系研究科, 教授 (80361799)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
ロウレンソ ブルノ・フィゲラ 統計数理研究所, 数理・推論研究系, 准教授 (80778720)
Liu Tianxiang 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (90835216)
Metel MichaelRos 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (40839081)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥14,820,000 (Direct Cost: ¥11,400,000、Indirect Cost: ¥3,420,000)
Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2021: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2020: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2019: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
|
|---|
| Keywords | 非凸非平滑最適化 / 錐最適化問題 / ランダム行列理論 / ２段階最適化問題 / 機械学習 / ホモトピー法 / ペナルティ法 / 確率的DCアルゴリズム / 低ランクスパース最適化 |
|---|
| Outline of Research at the Start |
L_0ノルムやランク関数は非凸関数であり，そのような関数を目的関数や制約式に含むスパース最適化問題は，一般にはNP困難であることが知られている．最近，我々は，スパース最適化問題を含む広いクラスの問題に対して，勾配計算に基づく効率的な解法SDCAを提案した．非凸スパース最適化法の研究は始まったばかりで，実用化に向けて様々な課題が残されている．本研究では，SDCAの効率化，そして，最適解により近い解を求めるためのSDCAの改良を目指す．効率性と高い近似精度は相反する特徴であり，両方を兼ね揃えた解法の開発は簡単ではないものの，これまでの大域最適化における研究成果を生かして解法の開発を行なう．
|
| Outline of Annual Research Achievements |
主に以下の3つのトピックスに取り組んだ.
[大域最適解に近い解を求めるための，SDCAホモトピー法の開発] これまで開発された，勾配情報を利用した非線形最適化法の多くは停留解を求めるための解法であり，SDCAも同様の解法である．非凸スパース最適化問題にSDCAを適用すると，アルゴリズムの初期解によって得られる停留解がかなり異なることが確認される．そこで，SDCAとホモトピー法を組み合わせることを検討し，現在，効率的な解法を構築した段階である．具体的には，パラメータを1つ導入して，簡単な凸最適化問題から解くべき非凸最適化問題へと連続変形させつつ，その停留点のパスを追っていく解法である．本年度は，計算効率の向上のため，パラメータの変更と停留点を求めるための反復解法の実行を同時に行うことを検討した．同時にパラメータの変更を行うと，理論保証が難しくなるが，研究対象とする最適化問題を限定することで，提案解法より導出される解について，理論的保証を与えることができた．
[確率的な勾配・ヘシアン行列計算を取り入れた確率的SDCA法の提案] 機械学習分野では，大規模データを扱うために，勾配計算に基づく解法に対して勾配計算を確率的に行うことが常套手段となっている．本年度の研究成果により，SDCAの勾配計算に確率的な勾配を用いる効果を確認した．さらに確率的勾配を用いて近似ヘシアン行列を構築し，解法で利用することにより，解法の高速化が達成されることを確認した．
[SDCAの2次錐や半正定値錐上の最適化問題への適用と収束解析] SDCAに関する一連の研究は，現在は非凸非平滑最適化問題を解くまでに拡張されている．以前より，ユークリッドジョルダン代数を用いた， 2次錐や半正定値錐を含む最適化問題のための効率的SDCA解法の開発について検討を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
以前から遂行している研究課題「SDCAの2次錐や半正定値錐上の最適化問題への適用と収束解析」は，想定していたよりも数学的に難しい点が多く，まだ思うような成果が挙げられていない．ようやく，当初の研究目的を遂行する準備が整ったため，今後，これまでの研究目標に従って，大域的収束性や収束のスピードについて解析したい．また他の研究課題に関しては順調に進み，「次元縮小による大規模非凸最適化解法の構築」という新しい課題につながった．順調に研究が進展していると考えている．
|
| Strategy for Future Research Activity |
[SDCAの2次錐や半正定値錐上の最適化問題への適用と収束解析] 以前の研究で我々が考案した，非凸非平滑最適化問題を解くための解法SDCAを，ユークリッドジョルダン代数を用いた2次錐・半正定値錐を含む最適化問題に適用すべく，アルゴリズム開発を始めた段階である．今後は，SDCAを2次錐や半正定値錐を含む問題に適用した場合の，大域的収束性や収束のスピードについて解析したい．
[次元縮小による大規模非凸最適化解法の提案] これまで様々なタイプの非凸非平滑最適化問題に対してSDCA解法の適用を検討してきた．更なる解法の高速化に向けて，ランダム行列を用いて問題の次元を縮小することを検討したい．今後，ランダム行列を用いて扱う最適化問題のサイズを縮小し，元問題の最適値との差を高確率で保証する方法を開発したい．ある特別なクラスの凸計画問題に対してそのような次元縮小方法は既に提案されているが，非凸最適化問題になると厳密解を得る解法の構築自体が難しくなるので，これまでほとんど研究がされていない．今後この課題に取り組んでいきたい．
[確率的2段階最適化法の提案] 機械学習分野では，大規模データを扱うために，勾配計算を確率的に行う確率的勾配法がしばしば用いられる．本研究課題を通して，確率的な勾配を用いるアルゴリズムの効果を確認した．今後は，難しい問題設定である2段階最適化問題に対して， 確率的な非凸最適化アルゴリズムを考案し，確率的な理論保証（平均的な停留点への収束と最悪反復回数の見積もり）のついた効率的な解法を構築したい. 2段階最適化アルゴリズムでは，確率的な計算に基づくヘシアン行列の計算が生じるため，これまでの1段階の最適化問題に対する理論保証と比べ，2段階最適化問題に対する理論保証は非常に難しいと思われる．確率的なヘシアン行列を用いた解法の理論保証などを参考にして研究を遂行したい.
|
