• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

幾何学的手法によるカーネル法の汎化能力の漸近論的解析

Research Project

Project/Area Number 15700130
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Intelligent informatics
Research InstitutionKyoto University

Principal Investigator

池田 和司  京都大学, 情報学研究科, 助教授 (10262552)

Project Period (FY) 2003 – 2005
Project Status Completed (Fiscal Year 2005)
Budget Amount *help
¥3,400,000 (Direct Cost: ¥3,400,000)
Fiscal Year 2005: ¥1,200,000 (Direct Cost: ¥1,200,000)
Fiscal Year 2004: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2003: ¥1,300,000 (Direct Cost: ¥1,300,000)
Keywords学習理論 / サポートベクトルマシン / カーネル法 / 学習曲線 / カーネル選択 / 情報幾何学 / スパイク統計 / ソフトマージン / ノルム
Research Abstract

カーネル法の代表的なアルゴリズムであるサポートベクトルマシン(SVM)は,カーネル法とマージン最大化を組み合わせたアルゴリズムである.SVMは高い汎化能力を持つことで知られ,多くの応用例が報告されており,その理論的裏づけはPAC学習と呼ばれる枠組みで与えられている.その枠組みではマージン最大化が汎化能力向上に大きな役割を果たすとされているが,これは一種の最悪評価による上限であるため,実際のSVMの汎化能力の高さを説明するものではない.そこで本研究では,平均汎化誤差を評価基準として用い,SVMの汎化能力を解析してきた.
本年度は,SVMにおけるカーネルおよびリフトアップの影響を理論的に評価する研究を行った.具体的には,SVMでは線形分離不可能な問題に対処するためにカーネル関数が用いられているが,どのようなカーネル関数が汎化誤差を小さくするかは明らかではなかった.そこでカーネル関数が極端な場合,すなわちほぼ0になる場合とほぼ1になる場合について,どのようなSVM解が得られるかを理論的に導出した.
また,リフトアップは非斉次分離超平面を斉次分離超平面に変換する手法であるが,これがSVM解にどのように影響を与えるかは明らかにされていなかった.そこでその影響を理論的に解析した.
さらに,当初の予定にはなかったが,神経スパイクの最適指標の導出の研究も行った.これはSVM解析にも用いられる情報幾何学を応用し,大脳皮質から得られる神経スパイク列を分別するために最適な手法を,情報幾何学的視点から導出した.

Report

(3 results)
  • 2005 Annual Research Report
  • 2004 Annual Research Report
  • 2003 Annual Research Report
  • Research Products

    (16 results)

All 2006 2005 2004 Other

All Journal Article (11 results) Publications (5 results)

  • [Journal Article] Effects of Kernel Function on Nu Support Vector Machines in Extreme Cases2006

    • Author(s)
      Kazushi IKEDA
    • Journal Title

      IEEE Trans.Neural Networks 17巻1号

      Pages: 1-9

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Geometrical Properties of Lifting-Up in the Nu Support Vector Machines2006

    • Author(s)
      Kazushi IKEDA
    • Journal Title

      IEICE Trans.Information and Systems E89D巻24号

      Pages: 847-852

    • NAID

      110004719356

    • Related Report
      2005 Annual Research Report
  • [Journal Article] An Asymptotic Analysis of Support Vector Machines with Soft Margins2005

    • Author(s)
      Kazushi IKEDA, Tsutomu AOISHI
    • Journal Title

      Neural Networks 18巻3号

      Pages: 251-259

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Geometrical Properties of Nu Support Vector Machines with Different Norms2005

    • Author(s)
      Kazushi IKEDA, Noboru MURATA
    • Journal Title

      Neural Computation 17巻11号

      Pages: 2508-2529

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Information Geometry of Interspike Intervals in Spiking Neurons2005

    • Author(s)
      Kazushi IKEDA
    • Journal Title

      Neural Computation 17巻12号

      Pages: 2719-2735

    • NAID

      10014324394

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Effects of Norms on Learning Properties of Support Vector Machines2005

    • Author(s)
      Kazushi IKEDA, Noboru MURATA
    • Journal Title

      Proc.ICASSP 2005 (印刷中)

    • Related Report
      2004 Annual Research Report
  • [Journal Article] An Asymptotic Statistical Theory of Polynomial Kernel Methods2004

    • Author(s)
      Kazushi IKEDA
    • Journal Title

      Neural Computation 16巻8号

      Pages: 1705-1719

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Geometry and Learning Curves of Kernel Methods Polynomial Kernels with Polynomial Kernels2004

    • Author(s)
      Kazushi IKEDA
    • Journal Title

      Systems and Computers in Japan 35巻7号

      Pages: 41-48

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Effects of Soft Margins on Learning Curves of Support Vector Machines2004

    • Author(s)
      Kazushi IKEDA, Tsutomu AOISHI
    • Journal Title

      Proc.BICS 2004

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Learning Properties of Support Vector Machines with p-Norm2004

    • Author(s)
      Kazushi IKEDA, Noboru MURATA
    • Journal Title

      Proc.MWSCAS 2004

    • Related Report
      2004 Annual Research Report
  • [Journal Article] An Asymptotic Analysis of Support Vector Machines with Soft Margins

    • Author(s)
      Kazushi IKEDA, Tsutomu AOISHI
    • Journal Title

      Neural Networks (印刷中)

    • Related Report
      2004 Annual Research Report
  • [Publications] Kazushi Ikeda: "Boundedness of Input Space and Effective Dimension of Feature Space in Kernel Methods"IEICE Trans. Information and Systems. E87-D/1. 297-299 (2004)

    • Related Report
      2003 Annual Research Report
  • [Publications] Kazushi Ikeda: "An Asymptotic Statistical Theory of Polynomial Kernel Methods"Neural Computation. (印刷中).

    • Related Report
      2003 Annual Research Report
  • [Publications] Kazushi Ikeda: "Generalization Error Analysis for Polynomial Kernel Methods --- Algebraic Geometrical Approach"Proc. ICANN/ICONIP2003. 201-208 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] 池田 和司: "無限次元特徴空間を持つカーネル法の汎化能力"情報技術レターズ. 121-122 (2003)

    • Related Report
      2003 Annual Research Report
  • [Publications] K.Ikeda, T.Aoishi: "Learning Curves of Support Vector Machines with Soft Margins"Proc. SOFSEM2004. 85-92 (2004)

    • Related Report
      2003 Annual Research Report

URL: 

Published: 2003-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi