サポートベクター回帰のハイパーパラメータの新たな推定
| Project/Area Number |
22K17860
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 60030:Statistical science-related
|
|---|
| Research Institution | Chuo University (2023)
Yokohama City University (2022) |
|---|
Principal Investigator |
牧草 夏実 中央大学, 理工学部, 助教 (60908341)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | カーネル法 / サポートベクター回帰 / 漸近理論 / 再生核ヒルベルト空間 / 機械学習 |
|---|
| Outline of Research at the Start |
遺伝子発現量データなど，サンプルサイズに比べて次元数が圧倒的に大きい高次元データの解析手法にカーネル法がある．この手法では高次元データをさらに高次の関数に変換して処理を行うことにより，分布や回帰関数の仮定を取り除くことが可能である．しかし，カーネル(データを関数に変換際に用いる関数)の選択，パラメータの推定，結果の解釈性が困難となる等，関数に変換することにより発生する問題がある．本研究では，特にカーネル法を用いた手法の一つであるサポートベクター回帰に絞り，パラメータの推定の問題に取り組む．
|
| Outline of Annual Research Achievements |
2023年度は，2022年度に引き続きサポートベクター回帰のハイパーパラメータを推定量に含めて同時に推定する方法について研究を行った．特に2023年度では，最尤法の観点から構築した推定量について，その漸近正規性の導出の為の補題の導出を行った．この補題では，推定量を構成する最適化関数のフレッシェ導関数を導出した．ここで考えている推定量はハイパーパラメータも含めた推定量であり，推定量がヒルベルト空間の直和空間の元となるため，先行研究での導出と異なっている．引き続き，補題として最適化関数の2階フレッシェ導関数の導出について現在取り掛かっている．今後，漸近正規性を示すために，関数デルタ法を使用するための適切な作用素の構築，およびその作用素のガトゥー微分性について導出を行いたい．
実データへの適用を通して，提案手法により決定したパラメータでの精度と一般的にサポートベクター回帰のパラメータ選択で用いられているCV法でのパラメータでの精度との比較を行ったところ，両者には大きな差はみられず計算コストの観点からは提案手法でのパラメータの決定の方が有効ではないかと結論付けられた．CV法でのグリッド点の範囲や使用した実データについて，より多くの検証を行うことでさらに調査を進めていきたい．
本研究ではサポートベクター回帰のハイパーパラメータに焦点を当てたが，リッジ回帰等のハイパーパラメータについて同様の議論を考え，単純な問題での議論についても取り組んでいきたい．
本研究に関連し6件の学会発表を実施した．
|
Report
(2 results)
Research Products
(7 results)
