2019 Fiscal Year Research-status Report
On model selection criteria under shrinkage estimation in greedy learning
| Project/Area Number |
18K11433
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
萩原 克幸 三重大学, 教育学部, 教授 (60273348)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | モデル選択 / LASSO / Thresholding法 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、貪欲法の下でも縮小推定を導入することでモデル選択規準を構成できる方法を考えている。その最も有名な方法がLASSOであるが、いくつかの問題が知られている。本研究では、その改良を考えてきた。今年度は、前年度進めていた「スケーリングによるLASSOの改良」について、スケーリングの効果と正則化パラメータの関係を調べるとともに、モデル選択の数値実験を行い、まとめる形で国際会議において発表した。この方法は、LASSO推定量に単一のスケーリングパラメータを導入する方法であるが、申請者は、今年度は、Thresholding法の枠組みで、スケーリングパラメータのTaylor展開により、展開次数をハイパーパラメータとして、Soft ThresholdingとHard Thresholdingの間のBridge推定量を構成できることを示し、さらに、Stein's Lemmaに基づき、そのモデル選択規準を構成した。そもそもard Thresholding法はLASSOのバイアス問題からフリーであるが、そのモデル選択規準は真の確率分布が分からないと構成できない。本研究で考えた方法は、それに近い状況では実用的なモデル選択規準が構成できることを示している。また、この方法は、Firm Thresholding(MCPの特殊な場合）と異なり、Soft ThresholdingとHard Thresholdingをある意味で自然につなぐことを示した。このため、自由度(degree of freedom)のSoft ThresholdingからのずれをHard Thresholdingの自由度から類推することができる。この研究は、モデル選択の方法を探求する上で重要なだけでなく、方法により決まるモデルの自由度の解釈につながるという意味でも重要であり、今後、この点を調べる予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では、ニューラルネットワークの学習とスパース学習の共通点に着目し、新しいスパース学習の下でのモデル選択規準の導出と、そのニューラルネットワークへの応用を考えている。この問題は、貪欲法の下でのモデル選択規準の導出に帰着されるが、一般に、難しい問題である。この研究では、それを縮小推定を導入することで解決する方法を考えている。今年度の研究では、縮小推定を導入しても貪欲法とほとんど同じ状況での推定が行え、その下でモデル選択規準が構成できることを示している。また、貪欲法について縮小推定を導入した場合と導入しない場合でのモデル自由度の評価ができることが分かった。これはニューラルネットワークのモデル選択を考える上で重要な役割を果たす。
|
| Strategy for Future Research Activity |
今年度、Thresholding法の枠組み、Soft Thresholding（LASSO）とHard Thresholding（貪欲法）を自然につなぐ方法を見つけた。今後は、まず、この過程で得られたモデルの自由度について、深く考察する必要がある。これは、ニューラルネットワークのモデル選択の数理構造を明らかにする上でも重要である。一方で、応用上は、昨年度の成果を一般の線形回帰の問題に拡張することも必要である。
|
| Causes of Carryover |
予定していたものは購入できているが、年度末の学会がキャンセルになったことなどを受けて、差額分が余った状況である。この差額分については、来年度の書籍などの購入などに割り当てる予定である。
|
