2011 Fiscal Year Annual Research Report
| Project/Area Number |
22700289
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
鈴木 大慈 東京大学, 情報理工学(系)研究科, 助教 (60551372)
|
|---|
| Keywords | 統計的学習理論 / multiple kernel learning / スパース学習 / 正則化 / スパース加法モデル |
|---|
| Research Abstract |
MKL (Multiple Kernel Learning) はLassoやGroup Lassoを含む広い枠組みであり， L1-ノルムを正則化項とした正則化学習法であるとみなすことができる．拡張としてLp-ノルムやElasticnet型の正則化を用いた手法が提案されてきたが，興味深い事実として，近年多くの数値実験により，p>1におけるLp-MKLやElasticnet-MKLが普通のL1-MKLを精度の面で上回ることが知られるようになってきた.この事実は，Corinna CortesがICML 2009の招待講演で紹介し，広く知られるようになった．「なぜ密な学習方法が疎なL1正則化を上回るのか」という問いは非常に重要な問題である．この問いに対する理論的解答を与えるため，一般的な枠組みを構築して包括的な考察を行った．これは全ての単調増加な混合ノルム型正則化に適用できるという点で特徴的である．我々の学習レートは局所化の技術を使っており，そのため大域的なバウンドよりもタイトである．また，その枠組みによって導出されるレートがミニマクスレートを達成することも示した．そして，「なぜL1正則化を密な正則化が上回るのか」という問いへの解答として，RKHS の"複雑さ"が一様に等しいわけではないとき，密な正則化が疎なL1正則化を上回ることを示した．"複雑さ"が不均一という状況は実問題では自然な設定である．
また，真が疎な場合の解析も行った．Elasticnet型の正則化項に注目し，L1と比べてどのような違いがあるかを調べた．結論として，Elasticnet型正則化を使うことにより真の関数の滑らかさに応じて速い収束レートを達成できることが示された．一方，L1正則化を用いると，推定量がより疎になるため真の非ゼロ要素数に関するオーダーが小さくなることが示された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
MKLの理論解析は当初の予定よりも多くの重要な結果をもたらしている．事実，我々の成果は当初想定していなかった新しい知見をもたらしており，それらはNIPSやAISTATSといったトップレベル国際会議に採択され高い評価を受けている．一方，効率的な推定アルゴリズムの開発やマルチタスク学習に対する研究は現在進行中であり次年度も継続して行う方針である．
|
| Strategy for Future Research Activity |
研究計画通り研究を進める．次年度からはマルチタスク学習や構造学習といった枠組みにも研究の幅を広げ，理論・アルゴリズム両方の研究を行ってゆく．アルゴリズムは適宜ソフトウェアを公開し，広く一般に使えるようにしてゆく．
|
