• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

New estimation of hyperparameters for support vector regression

Research Project

Project/Area Number 22K17860
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 60030:Statistical science-related
Research InstitutionChuo University (2023)
Yokohama City University (2022)

Principal Investigator

Makigusa Natsumi  中央大学, 理工学部, 助教 (60908341)

Project Period (FY) 2022-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywordsカーネル法 / サポートベクター回帰 / 漸近理論 / 再生核ヒルベルト空間 / 機械学習
Outline of Research at the Start

遺伝子発現量データなど,サンプルサイズに比べて次元数が圧倒的に大きい高次元データの解析手法にカーネル法がある.この手法では高次元データをさらに高次の関数に変換して処理を行うことにより,分布や回帰関数の仮定を取り除くことが可能である.しかし,カーネル(データを関数に変換際に用いる関数)の選択,パラメータの推定,結果の解釈性が困難となる等,関数に変換することにより発生する問題がある.本研究では,特にカーネル法を用いた手法の一つであるサポートベクター回帰に絞り,パラメータの推定の問題に取り組む.

Outline of Final Research Achievements

In this study, we focused on the problem of parameter estimation in one of the kernel methods, specifically Support Vector Regression (SVR). We developed a method to estimate the parameters of nonlinear Support Vector Regression using penalized likelihood and derived several lemmas to establish the theoretical foundation. Additionally, through the application to real datasets, we confirmed that the method is sufficiently practical for actual data applications. For the sake of theoretical research, we also conducted studies related to Reproducing Kernel Hilbert Spaces (RKHS) beyond just Support Vector Regression.
During the research period, we made seven conference presentations and had one paper accepted and published. With the support of the Grants-in-Aid for Scientific Research (KAKENHI), we were able to achieve these results.

Academic Significance and Societal Importance of the Research Achievements

非線形サポートベクター回帰のパラメータを決定するにあたってよく知られている方法としては,クロスバリデーション法と呼ばれる方法である.この方法では,候補となるあらゆるパラメータでの回帰を行い,その回帰についての評価を行う.あらゆる組み合わせにおける回帰を計算する必要があるため,非線形サポートベクター回帰のような選択すべきパラメータが多い手法において計算量が非常に多くなるという問題点が挙げられていた.このため,本研究の成果はこの問題点を解決する手法の一つとなっている.さらに,サポートベクター回帰のような機械学習手法はAI技術としても用いられており,昨今の科学技術発展につながる.

Report

(3 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • Research Products

    (7 results)

All 2024 2023 2022

All Presentation (7 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results)

  • [Presentation] Nonlinear support vector regression with penalized likelihood2024

    • Author(s)
      Natsumi Makigusa, Kanta Naito
    • Organizer
      IMS Asia Pacific Rim Meeting 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 罰則付き尤度に基づく非線形サポートベクター回帰2023

    • Author(s)
      牧草 夏実
    • Organizer
      九州大学統計科学セミナー
    • Related Report
      2023 Annual Research Report
  • [Presentation] 非線形サポートベクター回帰のハイパーパラメータの決定手法2023

    • Author(s)
      牧草夏実, 内藤貫太
    • Organizer
      日本計算機統計学会 第37回シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] 非線形サポートベクター回帰のハイパーパラメータの推定2023

    • Author(s)
      牧草夏実, 内藤貫太
    • Organizer
      2023年度統計関連学会連合大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Two-sample test based on the variance of a positive definite kernel2023

    • Author(s)
      Natsumi Makigusa
    • Organizer
      25th International Conference on Computational Statistics
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 正定値カーネルの分散を用いた二標本検定2023

    • Author(s)
      牧草夏実
    • Organizer
      日本計算機統計学会 第37回大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Kernel Method and its Application2022

    • Author(s)
      Natsumi Makigusa
    • Organizer
      RIMS研究集会: 再生核ヒルベルト空間を中心とした 実解析・複素解析・函数解析の総合的研究
    • Related Report
      2022 Research-status Report
    • Invited

URL: 

Published: 2022-04-19   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi