Statistical Mechanical Analysis of non convex sparse penalty
| Project/Area Number |
16K16131
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Allocation Type | Multi-year Fund |
|---|
| Research Field |
Soft computing
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
Sakata Ayaka 統計数理研究所, 数理・推論研究系, 助教 (80733071)
|
|---|
| Research Collaborator |
Xu Yingying
Obuchi Tomoyuki
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Project Status |
Completed (Fiscal Year 2018)
|
| Budget Amount *help |
¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2018: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2017: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2016: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | スパース推定 / 非凸正則化 / 統計物理 / 圧縮センシング / 交差検証法 / 非凸スパース正則化 / 確率伝搬法 / レプリカ法 / 相転移 / 情報量規準 / スパース正則化 / 情報量基準 |
|---|
| Outline of Final Research Achievements |
It has been implied that sparse estimation based on nonconvex penalties leads high compression performance compared with that based on convex penalties. However, the nonconvex penalties provide lots of local minima depending on the values of regularization parameters. Mathematical methods that derive the condition for the appearance of local minima and algorithms to solve problems penalized by nonconvex penalty are required. In this study, we identified the parameter regions where the local minima appear based on the statistical mechanical method. Further, we show that the estimation problems with nonconvex penalties can be solved with the same computational cost as convex penalties. In addition, we proposed model selection methods.
|
| Academic Significance and Societal Importance of the Research Achievements |
非凸正則化は高いポテンシャルを持つものの、数学的に扱いにくいという問題点があった。本研究では、その数学的困難を統計力学的手法により解決し、凸正則化と同様に扱うことができる条件を特定した。また、収束条件を導出することができる確率伝搬法を非凸正則化に導入したことで、適切な正則化パラメータの選び方が明らかになった。また低コストで予測誤差を評価することが可能となり、予測に基づくモデリング方法も整った。これらの研究結果は、非凸正則化を用いた新しい推定方法を広く利用可能とするものであり、データ駆動科学に大きく貢献すると考える。
|
Report
(4 results)
Research Products
(18 results)
