2014 Fiscal Year Research-status Report
凸計画問題に対する近接座標勾配法の計算量解析と設計指針の体系化
| Project/Area Number |
25330025
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
山下 信雄 京都大学, 情報学研究科, 教授 (30293898)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 凸最適化 / 座標勾配法 / 計算量 / オンライン最適化 / 最尤推定 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，機械学習などに現れる大規模な凸計画問題に対する一般化された勾配法（近接座標勾配法）の計算量を解析し，その解析に基づいた個々の勾配法の設計指針を構築することにある．本年度の目的は，前年度に得られた成果を，より複雑で現実的な問題に対して拡張することであった．その目的に関連して以下の成果を得た．
・与えられたデータから，潜在変数をもつ確率モデルのパラメータを最尤推定問題に対して，一般化されたモデルを提案した．さらにそのモデルに対して座標降下法を提案し，その収束性を証明した．この最尤推定問題は凸計画ではないが，分割された変数ごとに見れば凸計画問題となる．提案した座標降下法は，ＥＭアルゴリズムを一般化した手法であり，ＥＭアルゴリズムでは扱いにくい問題でも，容易に適用することができる．
・データが逐次的に与えられるなど，目的関数の情報が一度に得られない状況を考え，そのような状況にも適用できるオンライン型の近接座標勾配法を提案した．この手法が従来のオンライン勾配法の自然な拡張になっており，オンライン勾配法の収束性を包含する一般的な性質を小召した．
・データ解析における重要な問題のひとつである回帰に対して，サポートベクタ回帰，ガウス回帰などよく利用されるの多くの既存手法を包含する回帰モデルを提案した．さらにその一般化されたモデルのFenchel双対問題に対して，高速化近接勾配法を提案し，数値実験によってモデルの妥当性と，提案手法の高速性を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の研究目的は，より複雑な問題に対する近接座標勾配法を拡張し，その収束性を解明することであった．オンライン問題や非凸な問題に対して拡張することができたが，複雑な制約を持つ問題や変分不等式問題への拡張ができなかった．一方，次年度以降に研究する予定であった機械学習や統計への応用研究の一部に関して成果を挙げることができた．総合的に見ると研究は順調に進展している．
|
| Strategy for Future Research Activity |
研究目的に対してはほぼ研究計画どおりに進捗している．一方で座標降下法とオンライン最適化の関連性に関する研究の必要性が増している．そこで，今後はその研究のウェートを高めて研究をすすめる予定である．
|
