Model selection criterion for bridge estimator in sparse learning
| Project/Area Number |
21K12048
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
萩原 克幸 三重大学, 教育学部, 教授 (60273348)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 汎化性 / Soft-thresholding / Bridge推定量 / Data Augmentation / Soft-Thresholding / Hard-Thresholding / スケーリング / ブリッジ推定量 / LASSO / スパース学習 / モデル選択規準 |
|---|
| Outline of Research at the Start |
機械学習分野で注目されている深層学習（階層型ニューラルネットワーク）とスパース学習は、独立な技術のように思われているが、いずれも、関数の集まりからいくつかの関数を学習により選んで、その線形結合により入出力関係を記述するという共通点をもつ。本研究は、こうしたモデルのモデル選択の問題を理論的に考え、リスクの推定量としてモデル選択規準を導出することを目指している。一般に、貪欲法の下では、応用において利用できるモデル選択規準を導出することはできないが、縮小推定の下での規準は構成できる可能性があり、本研究では効果的な縮小推定の方法とその下でのモデル選択規準を考える。
|
| Outline of Annual Research Achievements |
本研究では、前年度、直交回帰の場合のLASSO推定量であるSoft-Thresholding推定量のスケーリングに基づくBridge推定量を導き、その理論的意義、汎化における有効性およびモデル自由度の非単調性の原因を明らかにしてきた。今年度は、そうした結果を論文にまとめ、それが出版された。また、統計的回帰とモデル選択に係る書籍も出版した。一方で、この結果は、一般の場合について、デザイン行列を直交展開して、その上でスパース性をもつモデリングに応用することができ、それはリッジ正則化のモデル選択に対応する。そこで、リッジ正則化の観点から、近年注目されているData Augmentationに注目して研究を進めた。一般に、入力にノイズを混入させる方法は正則化と同じ働きをすることが知られており、ノイズ分散が正則化パラメータと対応するため、ノイズ分散を決めることがモデル選択となる。Data Augmentationの立場では、ノイズを混入したデータを追加する（それによって補強する）方法が用いられることがある。画像の問題では、これは、Adversarial Attackを回避するためのロバストな方法を提供するが、汎化性の観点からの研究はなされていない。本研究では、ノイズを入力に加えるData Augmentationを線形回帰に適用する場合の学習について理論的に調べた。その結果、Data Augumentationはスパースな表現を与えない正則化に対応しているが、学習率を増加させるという見かけ上の加速化の効果とリッジ正則化の効果があることを明らかにするとともに、ニューラルネットワークについてもこの性質をもつことを数値例によって確かめた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
直交回帰の場合についての目的は達成できた。これを直接一般の場合のスパースモデリングに適用することは難しいが、一般の場合のリッジ正則化の下でのモデル選択を考えることができると考えている。これに関連して、今年度は、近年注目されているData Augumentationの学習における効果の一つとしてリッジ正則化があることを明確にできた。
|
| Strategy for Future Research Activity |
今後は、直交性を満たさない一般の場合について、スパース性を考慮したモデル選択の問題を考える。その一つの方向として、特に、ノンパラメトリック回帰の場合について、デザイン行列を直交展開して、その上でスパース性をもつモデリングを考える。この場合には、直交性を満たす場合のBridge推定量に対するモデル選択が適用できて、それはリッジ正則化における正則化パラメータの選択に対応すると考えている。
|
Report
(2 results)
Research Products
(4 results)
