2022 Fiscal Year Research-status Report
Model selection criterion for bridge estimator in sparse learning
| Project/Area Number |
21K12048
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
萩原 克幸 三重大学, 教育学部, 教授 (60273348)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 汎化性 / Soft-thresholding / Bridge推定量 / Data Augmentation |
|---|
| Outline of Annual Research Achievements |
本研究では、前年度、直交回帰の場合のLASSO推定量であるSoft-Thresholding推定量のスケーリングに基づくBridge推定量を導き、その理論的意義、汎化における有効性およびモデル自由度の非単調性の原因を明らかにしてきた。今年度は、そうした結果を論文にまとめ、それが出版された。また、統計的回帰とモデル選択に係る書籍も出版した。一方で、この結果は、一般の場合について、デザイン行列を直交展開して、その上でスパース性をもつモデリングに応用することができ、それはリッジ正則化のモデル選択に対応する。そこで、リッジ正則化の観点から、近年注目されているData Augmentationに注目して研究を進めた。一般に、入力にノイズを混入させる方法は正則化と同じ働きをすることが知られており、ノイズ分散が正則化パラメータと対応するため、ノイズ分散を決めることがモデル選択となる。Data Augmentationの立場では、ノイズを混入したデータを追加する（それによって補強する）方法が用いられることがある。画像の問題では、これは、Adversarial Attackを回避するためのロバストな方法を提供するが、汎化性の観点からの研究はなされていない。本研究では、ノイズを入力に加えるData Augmentationを線形回帰に適用する場合の学習について理論的に調べた。その結果、Data Augumentationはスパースな表現を与えない正則化に対応しているが、学習率を増加させるという見かけ上の加速化の効果とリッジ正則化の効果があることを明らかにするとともに、ニューラルネットワークについてもこの性質をもつことを数値例によって確かめた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
直交回帰の場合についての目的は達成できた。これを直接一般の場合のスパースモデリングに適用することは難しいが、一般の場合のリッジ正則化の下でのモデル選択を考えることができると考えている。これに関連して、今年度は、近年注目されているData Augumentationの学習における効果の一つとしてリッジ正則化があることを明確にできた。
|
| Strategy for Future Research Activity |
今後は、直交性を満たさない一般の場合について、スパース性を考慮したモデル選択の問題を考える。その一つの方向として、特に、ノンパラメトリック回帰の場合について、デザイン行列を直交展開して、その上でスパース性をもつモデリングを考える。この場合には、直交性を満たす場合のBridge推定量に対するモデル選択が適用できて、それはリッジ正則化における正則化パラメータの選択に対応すると考えている。
|
| Causes of Carryover |
今年度は対面の学会も開催されるようになったが、コロナ罹患の危険性などを考えて、引き続き学会にはオンラインで参加するようにしたため、旅費として計上していた費用が利用できなかった。次年度は、情報収集および成果発表に使用する予定である。
|
