On model selection criteria under shrinkage estimation in greedy learning
| Project/Area Number |
18K11433
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2018: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | スパース学習 / 階層型ニューラルネット / モデル選択 / 正則化 / 縮小推定 / SURE / thresholding / LASSO / Thresholding法 / ニューラルネットワーク / スパース正則化 / 貪欲法 |
|---|
| Outline of Final Research Achievements |
In this project, we considered a model selection problem that is common for both of layered neural nets and sparse modeling. We considered model selection under regularization and shrinkage methods. In a sparse modeling, we derived a scaling method for LASSO, in which a bias problem is relaxed. And, we derived a risk-based model selection criterion for the estimate under the proposed method. We confirm its effectiveness through numerical experiments. Additionally, by introducing a scaling method, we derived a unified modeling method under a non-parametric orthogonal regression problem and we analyzed the generalization properties of the proposed method. On the other hand, in layered neural nets, we found that a deep structure affects over-fitting to noise.
|
| Academic Significance and Societal Importance of the Research Achievements |
最近、機械学習分野では、深層学習およびスパース学習という二つのキーワードが注目されており、社会的にもインパクトを与えているが、モデル選択の問題はまだ研究が続いている。これらは独立に発展しているが、深層学習の基本である階層型のニューラルネットとスパース学習は、いずれも、学習によって選択できる関数達の線形結合により構成されるモデルを考えているという共通点をもつ。これまでの研究で、こうしたモデルを貪欲法の下で学習した場合、予測誤差の推定値がモデル選択規準として応用可能な形にならないことが知られている。本研究は、この問題を解決するために、縮小推定を導入した下でのモデル選択を考えるものである。
|
Report
(4 results)
Research Products
(7 results)
