2004 Fiscal Year Annual Research Report
幾何学的手法によるカーネル法の汎化能力の漸近論的解析
| Project/Area Number |
15700130
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
池田 和司 京都大学, 情報学研究科, 助教授 (10262552)
|
|---|
| Keywords | 学習理論 / サポートベクトルマシン / カーネル法 / 学習曲線 / ソフトマージン / ノルム |
|---|
| Research Abstract |
カーネル法の代表的なアルゴリズムであるサポートベクトルマシン(SVM)は,カーネル法とマージン最大化を組み合わせたアルゴリズムである.SVMは高い汎化能力を持つことで知られ,多くの応用例が報告されており,その理論的裏づけはPAC学習と呼ばれる枠組みで与えられている.その枠組みではマージン最大化が汎化能力向上に大きな役割を果たすとされているが,これは一種の最悪評価による上限であるため,実際のSVMの汎化能力の高さを説明するものではない.そこで本研究では,平均汎化誤差を評価基準として用い,SVMの汎化能力を解析してきた.
本年度は,SVMにおけるパラメータの影響を理論的に評価する研究を行った.具体的には,SVMでは線形分離不可能な問題に対処するためあるいはオーバーフィッティングを防ぐためにソフトマージンを利用することが提案されているが,そのことが汎化誤差にどのような影響を与えるかは,従来はPAC学習の枠組みでしか検討されてこなかった.そこで,より実用的な基準である平均汎化誤差について,その影響を調べた.従来のSVMではなく幾何学的考察が容易なν-SVMを解析したところ,線形分離可能な問題に対してソフトマージンを用いた場合,汎化能力がどれだけ低下するかを定量的に示すことができた.
また,従来はマージン最大化における距離関数としてユークリッド・ノルム(2-ノルム)が用いられているが,これを一般のp-ノルムとした場合の影響も研究した.一般にp-ノルムを用いたSVMはp次最適化問題になることが知られているので,p=1とするとSVMの計算量を削減することができる.しかしそれにより汎化能力が大幅に低下するのでは意味がない.そこで,pの値とSVM解の関係を,ν-SVMについて解析した.その結果,解はpの値に対して比較的ロバストであることが明らかにされた.
|
