幾何学的手法によるカーネル法の汎化能力の漸近論的解析

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15700130
• Research Institution: Kyoto University
• Principal Investigator: 池田 和司 京都大学, 情報学研究科, 助教授 (10262552)
• Keywords: 学習理論 / サポートベクトルマシン / カーネル法 / 学習曲線

Research Abstract

カーネル法の代表的なアルゴリズムであるサポートベクトルマシン(SVM)は,カーネル法とマージン最大化を組み合わせたアルゴリズムである.SVMは高い汎化能力を持つことで知られ,多くの応用例が報告されており,その理論的裏づけはPAC学習と呼ばれる枠組みで与えられている.その枠組みではマージン最大化が汎化能力向上に大きな役割を果たすとされているが,これは一種の最悪評価による上限であるため,実際のSVMの汎化能力の高さを説明するものではない.そこで本研究では,平均汎化誤差を評価基準として用い,SVMの汎化能力を解析した.研究代表者は高次元特徴空間を用いるカーネル法の枠組みそのものが高い汎化能力をもつ理由となっているのではないかと考えた.すなわち,入力空間を高次元特徴空間に写像しても,入力自体は特徴空間の中で局在し入力空間と同じ次元の多様体をなしていることに着目し,その局所性が汎化能力の低下を防いでいるのではないかと考え,SVMに限定せず一般のカーネル法について,多項式カーネルを用いた場合の汎化誤差を,統計的漸近論の枠組みで理論的に評価した.その結果,予想通りカーネル法の枠組みではモデルが大きすぎる場合でも従来ほどオーバーフィッティングを起こさないことが示された.
この成果は多項式カーネルに限定されているため,より一般にカーネル法の汎化能力を評価することを次に試みた.具体的には,例題数が比較的少ない,あるいは特徴空間が非常に高次元であるために,特徴空間に写像された入力ベクトルがすべて一次独立となる場合について検討を行った.その結果,無限次元特徴空間を持つガウスカーネルを用いても,入力が有界ならば実質的には特徴空間は無限にはならないこと,例題数が少ない時には異なる特性を示すことなどが明らかにされつつある.

Research Products

• [Publications] Kazushi Ikeda: "Boundedness of Input Space and Effective Dimension of Feature Space in Kernel Methods"IEICE Trans. Information and Systems. E87-D/1. 297-299 (2004)
• [Publications] Kazushi Ikeda: "An Asymptotic Statistical Theory of Polynomial Kernel Methods"Neural Computation. (印刷中).
• [Publications] Kazushi Ikeda: "Generalization Error Analysis for Polynomial Kernel Methods --- Algebraic Geometrical Approach"Proc. ICANN/ICONIP2003. 201-208 (2003)
• [Publications] 池田 和司: "無限次元特徴空間を持つカーネル法の汎化能力"情報技術レターズ. 121-122 (2003)
• [Publications] K.Ikeda, T.Aoishi: "Learning Curves of Support Vector Machines with Soft Margins"Proc. SOFSEM2004. 85-92 (2004)