2012 Fiscal Year Annual Research Report
| Project/Area Number |
22700289
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
鈴木 大慈 東京大学, 情報理工学(系)研究科, 助教 (60551372)
|
|---|
| Project Period (FY) |
2010-04-01 – 2013-03-31
|
| Keywords | 統計的学習理論 / multiple kernel learning / スパース加法モデル / オンライン最適化 / 双対平均化法 / 近接勾配法 |
|---|
| Research Abstract |
Multiple Kernel Learning（以下MKL）はLassoやGroup Lassoを含む広い枠組みであり,凸最適化によって複数のカーネル関数を取捨選択・統合する学習方法である．本年度では，MKLのベイズ的変種を提案し，その統計的性質をPAC-ベイズという手法を用いて理論的に評価した．これまでのMKLの標準的な理論解析においてはデザインにrestricted eigenvalue conditionといった強い仮定を課していた．しかし，この仮定は実際には満たされないことが多い．そこで，本研究ではMKLのベイズ的変種を考察し，それがデザインに仮定を置かずに最適収束レートを達成することを証明した．我々の証明は基本的にPAC-ベイズ法とガウシアンプロセス回帰の理論を組み合わせてなされる．既存のガウシアンプロセス回帰の統計的収束に関する理論においては，主にSobolev空間をモデルの空間として考えてきたが，我々の理論はinterpolation spaceの理論を用いてそれを一般化した．その意味で我々の手法は既存のガウシアンプロセス回帰の理論を包含するものである．
また，大量データにおける構造的正則化学習に有用なオンライン型のAlternating Direction Multiplier Method (ADMM) を提案し，その収束に関する理論的な正当性を与えた．提案方法は，基本的にADMMと確率的最適化技法との組み合わせである．確率的最適化手法の中でも特に広く用いられているオンライン型近接勾配法と双対平均化法に注目し，それら二つの手法のADMM型変種を考察した．提案手法は更新式が陽に書き下せるため計算が軽く，実装も容易である．また，提案手法の期待リスクはミニマクス最適レートを達成することを示した．計算機実験による既存手法との比較により提案手法の有用性を確かめた．
|
| Current Status of Research Progress |
Reason
24年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
24年度が最終年度であるため、記入しない。
|
