2023 Fiscal Year Annual Research Report
サポートベクター回帰のハイパーパラメータの新たな推定
| Project/Area Number |
22K17860
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
牧草 夏実 中央大学, 理工学部, 助教 (60908341)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Keywords | カーネル法 / サポートベクター回帰 / 漸近理論 / 再生核ヒルベルト空間 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
2023年度は，2022年度に引き続きサポートベクター回帰のハイパーパラメータを推定量に含めて同時に推定する方法について研究を行った．特に2023年度では，最尤法の観点から構築した推定量について，その漸近正規性の導出の為の補題の導出を行った．この補題では，推定量を構成する最適化関数のフレッシェ導関数を導出した．ここで考えている推定量はハイパーパラメータも含めた推定量であり，推定量がヒルベルト空間の直和空間の元となるため，先行研究での導出と異なっている．引き続き，補題として最適化関数の2階フレッシェ導関数の導出について現在取り掛かっている．今後，漸近正規性を示すために，関数デルタ法を使用するための適切な作用素の構築，およびその作用素のガトゥー微分性について導出を行いたい．
実データへの適用を通して，提案手法により決定したパラメータでの精度と一般的にサポートベクター回帰のパラメータ選択で用いられているCV法でのパラメータでの精度との比較を行ったところ，両者には大きな差はみられず計算コストの観点からは提案手法でのパラメータの決定の方が有効ではないかと結論付けられた．CV法でのグリッド点の範囲や使用した実データについて，より多くの検証を行うことでさらに調査を進めていきたい．
本研究ではサポートベクター回帰のハイパーパラメータに焦点を当てたが，リッジ回帰等のハイパーパラメータについて同様の議論を考え，単純な問題での議論についても取り組んでいきたい．
本研究に関連し6件の学会発表を実施した．
|
