特徴空間の構造の解明とパターン認識に適したカーネルの開発

• 研究課題/領域番号: 17656130
• 研究種目: 萌芽研究
• 配分区分: 補助金
• 研究分野: システム工学
• 研究機関: 神戸大学
• 研究代表者: 阿部 重夫 神戸大学, 工学研究科, 教授 (50294195)
• 研究期間 (年度): 2005 – 2007
• 研究課題ステータス: 完了 (2007年度)
• 配分額: 3,200千円 (直接経費: 3,200千円); 2007年度: 1,000千円 (直接経費: 1,000千円); 2006年度: 1,000千円 (直接経費: 1,000千円); 2005年度: 1,200千円 (直接経費: 1,200千円)
• キーワード: パターン認識 / サポートベクトルマシン / 特徴空間 / 標本特徴空間 / カーネル / マハラノビスカーネル

研究概要

特徴空間は無限次元となりうるが,これに等価な標本特徴空間は最大でも教師データ数の次元の空間になる.この特徴を使って前年度に最小自乗サポートベクトルマシン(LS SVM)のスパース化を実現する方式を開発したが,今年度はさらにスパース化の研究を進め,以下の結論を得た.
(1)前年度開発したスパースLS SVMは標本特徴空間で主問題を解いていたが,標本特徴空間で双対問題を解く方式を開発し,両者の違いを数値的安定性および学習速度の観点から解析し,双対問題で解くと数値的不安定が生じることを明らかにした.
(2)スパースLS SVMを関数近似に拡張した.すなわちカーネルマトリックスをコレスキー分解する際に0判定を緩めることにより,一次独立になるデータ数を制限して縮小標本空間を作成する.さらにこの空間内で関数近似器を学習することによりスパースLS SVR(Support Vector Regressor)を実現した.
(2)スパースLS SVMではコレースキー分解により,特徴空間を縮小していたが,これでは分離に必要なデータを削除する可能性がある.このために標本特徴空間でDiscriminant Analysisを行うことにより分離に必要なデータを選択する方式を開発した.これにより,コレスキー分解で求めたスパースLS SVMよりさらにスパース性を向上することができた.
(3)通常のSVMを縮小標本特徴空間で双対問題で学習する方式を開発した.これにより,分離が難しい問題で通常のSVMよりさらにスパース性が向上することを確認した.

研究成果

• [雑誌論文] Sparse Least Squares Support Vector Training in the Reduced Empirical Feature Space (2007)
  • 著者名/発表者名: Shigeo Abe
  • 雑誌名: Pattern Analysis & Applications 11 ページ: 203-214
  • NAID: 120000945576
  • 査読あり
• [雑誌論文] Optimizing Kernel Parameters by Second-Order Methods (2007)
  • 著者名/発表者名: Shigeo Abe
  • 雑誌名: Proc. European Symposium on Artificial Neural Networks (ESANN 2007) ページ: 259-264
  • 査読あり
• [雑誌論文] Sparse Least Squares Support Vector Regressors Trained in the Reduced Empirical Fcature Space (2007)
  • 著者名/発表者名: Shigeo Abe
  • 雑誌名: International Conference on Neural Networks (ICANN 2007) Part II ページ: 180-189
  • 査読あり
• [雑誌論文] Incremental Training of Support Vector Machines Using Hyperspheres (2006)
  • 著者名/発表者名: Shinya Katagiri
  • 雑誌名: Pattern Recognition Letters 27(13) ページ: 1495-1507
• [雑誌論文] Implementing Multi-class Classifiers by One-class Classification Methods (2006)
  • 著者名/発表者名: Tao Ban
  • 雑誌名: Proc. International Joint Conference on Neural Networks ページ: 719-724
• [雑誌論文] Support Vector Regression Using Mahalanobis Kernels (2006)
  • 著者名/発表者名: Yuya Kamada
  • 雑誌名: Proc. Second IAPR TC3 Workshop on Artificial Neural Networks in Pattern Recognition (ANNPR 2006) ページ: 144-152
• [雑誌論文] Fast Training of Linear Programming Support Vector Machines Using Decomposition Techniques (2006)
  • 著者名/発表者名: Yusuke Torii
  • 雑誌名: Proc. Second IAPR TC3 Workshop on Artificial Neural Networks in Pattern Recognition (ANNPR 2006) ページ: 165-176
• [雑誌論文] Feature Selection Based on Kernel Discriminant Analysis (2006)
  • 著者名/発表者名: Masamichi Ashihara
  • 雑誌名: Proc. International Conference on Artificial Neural Networks (ICANN 2006) 2 ページ: 282-291
• [雑誌論文] Training of Support Vector Machines with Mahalanobis Kernels (2005)
  • 著者名/発表者名: Shigeo Abe
  • 雑誌名: Proc.ICANN 2005 第2巻 ページ: 571-576
  • NAID: 120000945452
• [雑誌論文] Comparison of sparse least squares support regressors trained in primal and dual
  • 著者名/発表者名: Shigeo Abe
  • 雑誌名: Proc. European Symposium on Artificial Neural Networks (ESANN 2008) (印刷中)
  • 査読あり
• [雑誌論文] Sparse Support Vector Machines Trained in the Reduced Empirical Feature Space
  • 著者名/発表者名: Kazuki Iwamura
  • 雑誌名: Proc. International Joint Conference on Neural Networks (印刷中)
  • 査読あり
• [雑誌論文] Sparse Least Squares Support Vector Training in the Reduced Empirical Feature Space
  • 著者名/発表者名: Shigeo Abe
  • 雑誌名: Pattern Analysis ＆ Applications (印刷中)
  • NAID: 120000945576
• [図書] Optimizing Mahalanobis Kernels for Pattern Classification, In Pattern Recognition: Theory and Application (2008)
  • 著者名/発表者名: Shigeo Abe
  • 出版者: Nova Science Publishers