2020 Fiscal Year Final Research Report
On model selection criteria under shrinkage estimation in greedy learning
| Project/Area Number |
18K11433
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | スパース学習 / 階層型ニューラルネット / モデル選択 / 正則化 / 縮小推定 |
|---|
| Outline of Final Research Achievements |
In this project, we considered a model selection problem that is common for both of layered neural nets and sparse modeling. We considered model selection under regularization and shrinkage methods. In a sparse modeling, we derived a scaling method for LASSO, in which a bias problem is relaxed. And, we derived a risk-based model selection criterion for the estimate under the proposed method. We confirm its effectiveness through numerical experiments. Additionally, by introducing a scaling method, we derived a unified modeling method under a non-parametric orthogonal regression problem and we analyzed the generalization properties of the proposed method. On the other hand, in layered neural nets, we found that a deep structure affects over-fitting to noise.
|
| Free Research Field |
機械学習
|
| Academic Significance and Societal Importance of the Research Achievements |
最近、機械学習分野では、深層学習およびスパース学習という二つのキーワードが注目されており、社会的にもインパクトを与えているが、モデル選択の問題はまだ研究が続いている。これらは独立に発展しているが、深層学習の基本である階層型のニューラルネットとスパース学習は、いずれも、学習によって選択できる関数達の線形結合により構成されるモデルを考えているという共通点をもつ。これまでの研究で、こうしたモデルを貪欲法の下で学習した場合、予測誤差の推定値がモデル選択規準として応用可能な形にならないことが知られている。本研究は、この問題を解決するために、縮小推定を導入した下でのモデル選択を考えるものである。
|
