2019 Fiscal Year Research-status Report
大規模な非凸最適化問題に対する効率の良いアルゴリズムの開発と機械学習等への応用
| Project/Area Number |
19K15247
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
田中 未来 統計数理研究所, 数理・推論研究系, 助教 (40737053)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 最適化 |
|---|
| Outline of Annual Research Achievements |
(1) 錐最適化問題は線形最適化問題の拡張の 1 つであり, オペレーションズ・リサーチや機械学習などで用いられる. 本研究では, 線形最適化問題に対する解法の 1 つである LP-Newton 法を錐最適化問題に拡張し, 適応的 LP-Newton 法を提案し, その収束解析および実験的解析を行なった.
(2) ニューラルネットワークの学習問題は非凸最適化問題だが, 勾配法を用いて優れた解を計算することができる. このような深層ニューラルネットワークの学習が成功する理由を解明するために, 過剰パラメータ状況下でのニューラルネットワークの学習問題における停留点の性質を部分的に明らかにした.
(3) 非凸最適化のうち, 特に実用的によく用いられる DC 最適化について先行研究の精査を行ない, サーベイ論文を執筆した.
(4) スパース最適化アルゴリズムの研究を進め, アルゴリズム内部で用いられる近接写像の効率のよい計算をスパース制御問題に応用し, その収束解析および実験的解析を行なった.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していた DC 最適化に関する理論的研究は遅れているものの, 当初は予期していなかった応用に関する研究を進めることができたため, 全体としては順調に進展しているといえる.
|
| Strategy for Future Research Activity |
(1) 多様体上の交互射影アルゴリズムについて研究を進め, 画像処理等への応用を目指す.
(2) 過剰パラメータ状況下でのニューラルネットワークの学習問題における停留点の性質を議論したが, 関数の滑らかさを仮定して行なった証明があるため, 非平滑最適化の理論を用いてこの仮定を取り除くことを目指す.
(3) スパース制御問題に対する効率のよいアルゴリズムを開発し, 性能のよさに関する理論的な保証を与える.
|
| Causes of Carryover |
予定していた出張が新型コロナウイルス感染症拡大のために延期となったため次年度使用額が生じた. 2020 年度以降の出張として使用する予定だが, 情勢次第では旅費ではなく物品費として使用する可能性がある.
|
