2016 Fiscal Year Research-status Report
大規模凸最適化問題に対する加速（劣）勾配法―実装を重視した理論の構築とその応用―
| Project/Area Number |
26330024
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
福田 光浩 東京工業大学, 情報理工学院, 准教授 (80334548)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | 凸最適化問題 / １次法 / 分散共分散行列推定 / 最急降下法 / 劣勾配法 |
|---|
| Outline of Annual Research Achievements |
機械学習で欠かせない最適化手法の中でも、凸関数の勾配や劣勾配のみを用いる一次法は特に近年注目を浴びている。これらの手法・アルゴリズムの特徴は、各反復に要する計算時間が短く、その優劣はより反復回数を減らし要求される解の精度を達成できるかにかかっている。本研究ではこの種のアルゴリズムを特殊な問題のクラスに限定してその解析および実装を目指している。
疎性をもつ（逆）分散共分散行列推定型問題に対する提案アルゴリズムの研究では、疑似乱数によりデータの疎性を調節して生成された問題に対し、高精度の解を計算することに成功した。さらに、既存のアルゴリズムとの比較実験でも優位な結果が得られた。
次に、凸最適化問題の中でも、本質的な複雑度を保ちつつ最も簡素化された問題である制約なしの狭義２次凸関数に対する最急降下法の発見的手法に関しては、さらに、計画的な数値実験を行った。その結果、狭義２次凸関数を定義している正定値行列の固有値の分布により、その挙動が変わることが再度確認できた。特に、アルゴリズムの収束にかかる時間が長くなる固有値の分布を持つ問題のクラスに対しては、比較の対象とした手法より高速に終了することに成功した。これは、問題の個数を増やしても同様な傾向になることも確認できた。
もう一つのテーマである、単純な構造を持った凸集合上での（強）凸関数最小化問題に対する統一的な枠組みによる（劣）勾配法に関しては、さらに実装を鑑みたパラメータの計算を確立するなどの検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
疎性をもつ（逆）分散共分散行列推定型問題に関する研究に対しては、予備数値実験通りの結果となり、最終的な数値実験を実行することのみ残された課題となっている。
狭義２次凸関数に対する最急降下法の発見的手法に関しては、概ね、数値実験に裏付けられた結果は得られているものの、理論的な収束性について、もう少しそのメカニズムを理解する必要があると思われる。
単純な構造を持った凸集合上での（強）凸関数最小化問題に対する統一的な枠組みによる（劣）勾配法に関する研究では、目標となっていた結果は得られ、国際学術雑誌に２本の論文としてまとめられている。その後の拡張については、まだ部分な結果しか得られていない。
上記のテーマ別の進捗状況を総合的に見ると、研究はおおむね順調に進展していると思われる。
|
| Strategy for Future Research Activity |
全体的にはテーマ別に並列して研究を進める予定である。
疎性をもつ（逆）分散共分散行列推定型問題に関する研究については、最終的な数値実験を行った上で、まとめ上げた論文を国際学術雑誌に投稿する予定である。
狭義２次凸関数に対する最急降下法の発見的手法に関しては、収束に関する理論を強化する必要がある。さらに問題を定義する正定値行列の固有値分布を変化させて、数値実験を追加する必要がある。
単純な構造を持った凸集合上での（強）凸関数最小化問題に関しては、最近、別の観点から（劣）勾配法によるアルゴリズムの収束の反復回数に関する研究があり、我々の研究に関する関連性を追究する必要がある。
|
| Causes of Carryover |
初年度からの繰越金があり、さらに、今年度は特別にこの分野最大の国際会議が東京で開催されたため、出張費が節約された。
|
| Expenditure Plan for Carryover Budget |
特に計画に変更なし。計算機の買い替えに使用する予定。
|
