2021 Fiscal Year Research-status Report
Model selection criterion for bridge estimator in sparse learning
| Project/Area Number |
21K12048
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
萩原 克幸 三重大学, 教育学部, 教授 (60273348)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | Soft-Thresholding / Hard-Thresholding / スケーリング / ブリッジ推定量 / LASSO |
|---|
| Outline of Annual Research Achievements |
LASSOについてはモデル選択規準が導出されているが、バイアスの問題によって、よい推定量を与えないことが知られている。本研究では、LASSOを改良した推定量の下でのモデル選択規準を導出することを目標としている。本研究では、ノンパラメトリック回帰のコンテクストで、Soft-Thresholding推定量をスケーリングする方法を考えた。直交回帰の場合のLASSOはSoft-Thresholdingになる。具体的には、Hard-Thresholding推定量を生成するスケーリング値のTaylor展開から導かれる経験的スケーリング値を採用することを考えた。このスケーリング値の下での推定量は、Adaptive-LASSO推定量と一致することを示した。この推定量は、Taylor展開のオーダーをハイパーパラメータとするブリッジ推定量となっており、特殊な場合として、Soft-Threshlding推定量やNon-negative garrote推定量を含むことを示した。本研究では、この推定量に対してStein's lemmaを適用して、モデルの自由度を計算するとともに、リスクの不偏推定量を構成した。それは数値的にも確かめられた。Soft-Thresholdingでは、Thresholdレベル（正則化パラメータ）の増加に伴ってモデルの自由度は単調に減少するが、本研究で構成した推定量については、単調性が崩れることが数値的に示され、その理由を理論的に調べた。その結果、非単調性はノイズ成分に由来するものであることが分かり、特に、スパースな場合、非単調性の傾向が顕著であることが示された。これは、Thresholding法では、推定において成分を選択する仕組みになっており、それがモデルの自由度を大きくしている原因であると解釈できる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
スケーリングによってSoft-Thresholding法を改良して、バイアスの問題を緩和する推定量を構成するとともに、それに対してモデルの自由度を計算できた。多くのLASSOの改良は、最適化のプロセスが推定量に影響するため、得られたモデルの自由度を調べることが難しい。これに対して、スケーリングは性質の分かっているLASSO推定量（Soft-Thresholding推定量）に対して線形に作用する関数であるため、その解析が比較的に容易であると考えられる。
|
| Strategy for Future Research Activity |
LASSOを含めたしきい値を用いてモデルを学習する方法では、成分（説明変数）を学習において選ぶという点が本質的である。実は、この性質はディープラーニングの基本である多層パーセプトロンの学習においても見られるものである。これまでの研究で、これがモデルの自由度（したがって、リスク）に関係していることが示唆された。今後は、まず、モデルの自由度の非単調性の性質を成分の選択性の観点から調べる。これにより、スケーリングを導入したThresholding法の性質が明らかになり、したがって、学習において成分を選択できるモデルの一般的な性質を明らかにすることができると考えている。一方で、スケーリング法をLASSOに拡張することも合わせて考えていく。まずは、各LASSO推定量を単純にスケーリングする場合について、その効果を調べるとともに、モデルの自由度の計算を進めていく必要がある。
|
| Causes of Carryover |
国際および国内会議への参加費および旅費を計上していたが、新型コロナウィルスの影響により旅費を利用することがなかった。今年度は国際・国内会議での成果発表に使用する予定である。
|
