2015 Fiscal Year Research-status Report
大規模凸最適化問題に対する加速（劣）勾配法―実装を重視した理論の構築とその応用―
| Project/Area Number |
26330024
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
福田 光浩 東京工業大学, 情報理工学(系)研究科, 准教授 (80334548)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 加速勾配法 / 凸最適化問題 / 最急降下法 / 狭義２次凸関数 |
|---|
| Outline of Annual Research Achievements |
情報社会基盤の整備が進む中、特に最近話題となっているビッグデータ科学や機械学習によるアプローチでは大規模凸最適化問題による解決とその解法が提案されている。本課題のメインテーマはそのような大規模凸最適化問題のなかでも、ある程度構造があるような問題（制約（式）が簡単もしくは射影などを行うのに計算量が少ない）に対して加速（劣）勾配法を提案することにある。
本年度の主な成果としては、特に最小化する関数が平滑、非平滑、複合、不正確なオラクルによる劣勾配を持つ場合などに限定されたとき、統一的な枠組みで加速（劣）勾配法を提案したことにある。これは、既存の異なる２つの加速劣勾配法を拡張した形から生まれ、変形アルゴリズムを同時に多数提案可能とするものである。また、従来から知られている最悪ケースにおける最小の計算量で収束するアルゴリズムとなっていることも理論的に示せた。関連する conditional gradient 法に関しても同様なアルゴリズムを提案し、その理論的な収束速度も示した。
もう一つの成果としては、狭義２次凸関数に対する最急降下法の発見的手法の提案がある。これは昨年度の数値実験による予備結果に加え、理論的なアルゴリズムの収束性を部分的に保証することを示した。
最後に、疎性をもつ（逆）分散共分散行列推定型問題に対する提案アルゴリズムに関しては、さらに数値実験を重ね、疑似乱数により生成された問題に対して既存アルゴリズムより優位であることが確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題のサブテーマによって進み具合が異なるが、メインである大規模凸最適化問題に対する加速（劣）勾配法に関しては、当初計画していた以上の結果となった。成果は２本の論文にまとめられ、近く国際学術雑誌に採択される見込みである。
一方、狭義２次凸関数に対する最急降下法と疎性をもつ（逆）分散共分散行列推定型問題に対する新アルゴリズムに関しては引き続き、数値実験の蓄積と理論の多少の整理が必要となっていて、計画よりは少し遅れ気味である。
|
| Strategy for Future Research Activity |
引き続き、疎性をもつ（逆）分散共分散行列推定型問題に関しては、Z. Lu が提案しているものより、より複雑な線形制約を追加した一般的な問題にも適用可能になるように進める予定である。
狭義２次凸関数に対する最急降下法の発見的手法の提案に関しては、手法の理論的な収束性、そして、当初から予定をしていた共役勾配法や準ニュートン法との関連性を追究する必要がある。
また、当初計画になかった、簡単な構造を持つ凸最適化問題に対する加速（劣）勾配法に関してはその振る舞いや実質的な効果を数値実験により確認することも計画している。
|
| Causes of Carryover |
前々年度からの繰越金があり、さらに、海外での研究成果発表の旅費が円高により、見積もっていた額より低くなったこと。
|
| Expenditure Plan for Carryover Budget |
上記の理由により、特に計画を変更する必要なし。繰越金は既に寿命が近い計算機の買い替えにあてる予定である。
|
