2006 Fiscal Year Annual Research Report
特徴空間の構造解明とパターン認識に適したカーネルの開発
| Project/Area Number |
17656130
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
阿部 重夫 神戸大学, 自然科学研究科, 教授 (50294195)
|
|---|
| Keywords | パターン認識 / サポートベクトルマシン / 特徴空間 / 標本特徴空間 / カーネル / マハラノビスカーネル |
|---|
| Research Abstract |
サポートベクトルマシン(SVM)では入力空間を特徴空間に写像して,特徴空間で線形分離超平面を構成するが,カーネルを用いると特徴空間を直接扱う必要がない.このために特徴空間の構造を知らなくても,識別器を構成できる反面,どのようなカーネルを選ぶかは,試行錯誤に頼らざるを得ない.この問題を解決するために本期間では以下のことを明らかにした.
(1)前年度開発したマハラノビスカーネルを関数近似サポートベクトルマシンに応用した.マハラノビスカーネルでは,教師データを用いて共分散行列を求めることによりカーネルパラメータを決定する.さらにSVMの学習において,マージンパラメータと誤差の閾値を交差検定法で決めた後,カーネルのスケールパラメータを交差検定法で決める線探索方式を提案した.コンピュータ実験において,線探索で格子点探索と同等の汎化能力を有すること,またRBF(Radial Basis Function)カーネルと同等以上の汎化能力を持つことを検証した.
(2)写像された教師データにより張られる標本特徴空間を解析し,標本特徴空間上で構築したSVMと特徴空間で構成したSVMを用いて,標本特徴空間に含まれない未知データを認識しても同じ結果が得られることを証明した.これにより,特徴空間で学習する代わりに標本特徴空間で学習しても等価であることを示した.
(3)最小自乗(LS)SVMは連立方程式を解くことにより学習できるために,通常のSVMより学習が高速であるが,すべてのデータがサポートベクトルとなることが問題である.このために,LS SVMを標本特徴空間で学習する方式を開発した.さらにサポートベクトルのスパース性を増すために,コレスキー分解の閾値を大きくすることにより一次独立なデータを制限する方式を開発した.この方式をコンピュータ実験により評価し,LS SVMのスパース性が大幅に向上することを示した.
|
