2020 Fiscal Year Annual Research Report
On model selection criteria under shrinkage estimation in greedy learning
| Project/Area Number |
18K11433
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
萩原 克幸 三重大学, 教育学部, 教授 (60273348)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | スパース学習 / 階層型ニューラルネット / 縮小推定 / SURE / thresholding |
|---|
| Outline of Annual Research Achievements |
最近、機械学習分野では、深層学習およびスパース学習という二つのキーワードが注目されており、社会的にもインパクトを与えているが、モデル選択の問題はまだ研究が続いている。これらは独立に発展しているが、深層学習の基本である階層型のニューラルネットとスパース学習は、いずれも、学習によって選択できる関数達の線形結合により構成されるモデルを考えているという共通点をもつ。これまでの研究で、こうしたモデルを貪欲法の下で学習した場合、予測誤差の推定値がモデル選択規準として応用可能な形にならないことが知られている。本研究は、この問題を解決するために、縮小推定を導入した下でのモデル選択を考えるものである。本研究では、まず、スパース学習において、正則化法であるLASSOのバイアス問題を解決するスケーリング法を考えた。その下でStein’s Unbiased Risk Estimateを計算し、モデル選択の規準を導出し、その応用上の妥当性を数値的に確認した。さらに、ノンパラメトリック直交回帰の枠組みで、スケーリング法を利用して、ノンパラメトリック直交回帰の下での統一的なモデリング法を与えた。これはsoft thresholding推定量とhard thresholding推定量の間のbridge推定量となっており、様々な方法を含む形になっている。この推定量に対してStein’s Unbiased Risk Estimateを計算するとともに、bridge推定量の下でのオーバーフィッティングの性質を解析した。一方で、階層型ニューラルネットについては、その深層化により、学習において急峻な出力が獲得され易いことを示した。このことは、過去の研究との関連より、階層型ニューラルネットがノイズにオーバーフィッテイングし易い傾向にあることを示すものである。
|
