サポートベクター回帰のハイパーパラメータの新たな推定
| Project/Area Number |
22K17860
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 60030:Statistical science-related
|
|---|
| Research Institution | Yokohama City University |
|---|
Principal Investigator |
牧草 夏実 横浜市立大学, データサイエンス学部, 特任助教 (60908341)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | カーネル法 / サポートベクター回帰 / 漸近理論 / 再生核ヒルベルト空間 / 機械学習 |
|---|
| Outline of Research at the Start |
遺伝子発現量データなど，サンプルサイズに比べて次元数が圧倒的に大きい高次元データの解析手法にカーネル法がある．この手法では高次元データをさらに高次の関数に変換して処理を行うことにより，分布や回帰関数の仮定を取り除くことが可能である．しかし，カーネル(データを関数に変換際に用いる関数)の選択，パラメータの推定，結果の解釈性が困難となる等，関数に変換することにより発生する問題がある．本研究では，特にカーネル法を用いた手法の一つであるサポートベクター回帰に絞り，パラメータの推定の問題に取り組む．
|
| Outline of Annual Research Achievements |
2022年度は，研究計画における「ハイパーパラメータを含めた推定法の構築」を主課題として研究の実施を行った．特に，推定量が真のパラメータ，すなわち条件付き密度関数に表れているパラメータへ収束する様子が漸近正規性を持つことについて調べるための関連研究の調査を行った．ハイパーパラメータを最適化関数に含めていないサポートベクター回帰においての漸近正規性については，関数デルタ法を用いて示されており，最適化関数と対応する，ある作用素のフレッシェ微分可能性が必要であった．本年度ではこの問題の解決にあたり，ハイパーパラメータを含めた場合の作用素がフレッシェ微分可能であるための条件について調査を行った．
関連研究では，作用素のガトゥー微分可能性を調べ，そのガトゥー微分が連続であることを調べることでフレッシェ微分可能性を調べていることが分かった．本研究においては，これらの導出方法と同様にして，作用素のガトゥー微分可能性および連続性について，回帰関数のみではなく，回帰関数に表れるパラメータおよび損失関数に現れるハイパーパラメータも含めた，３つの組において示す必要があり，対応する補題について調べた．また，この3つの組はヒルベルト空間の直和空間の元に対応しており，3つの推定量それぞれの微分可能性と，3つの組の微分可能性についてどのような関連性があるのかどうか，ヒルベルト空間の一般理論も含めて調査する必要性があることが分かった．
本研究に関連し1件の学会発表を実施し，１本の論文を投稿した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画書に基づく進捗状況の判断としては，おおむね順調に進展していると判断できる．2022年度においては， maximum variance discrepancyと呼ばれる分布間の違いを測る指標に基づく２標本検定に関する論文が投稿された．カーネル法の理論と応用について研究集会にて講演発表を行った．サポートベクター回帰に関する結果には至っていないがおおむね順調に進展していると判断する．
|
| Strategy for Future Research Activity |
次年度は研究計画書の通り，ハイパーパラメータも含めた最適化問題を解くことで得られた推定量の漸近正規性の導出および，その結果についてのモンテカルロシミュレーションを実施する予定である．関連研究で調べた補題をたどり，ある作用素のフレッシェ微分可能性を調べることについて，まず取り組む予定であるが，漸近正規性の導出については関数デルタ法にこだわらず，ヒルベルト空間の性質を広く使ったアプローチを考えている．回帰関数の推定量に関しては，関数自体の漸近正規性をヒストグラムで表現することは困難であるため，各点における漸近正規性を調べる．
|
Report
(1 results)
Research Products
(1 results)
