Statistical Mechanical Analysis of non convex sparse penalty

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K16131
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Soft computing
• Research Institution: The Institute of Statistical Mathematics
• Principal Investigator: Sakata Ayaka 統計数理研究所, 数理・推論研究系, 助教 (80733071)
• Research Collaborator: Xu Yingying ; Obuchi Tomoyuki
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: スパース推定 / 非凸正則化 / 統計物理

Outline of Final Research Achievements

It has been implied that sparse estimation based on nonconvex penalties leads high compression performance compared with that based on convex penalties. However, the nonconvex penalties provide lots of local minima depending on the values of regularization parameters. Mathematical methods that derive the condition for the appearance of local minima and algorithms to solve problems penalized by nonconvex penalty are required. In this study, we identified the parameter regions where the local minima appear based on the statistical mechanical method. Further, we show that the estimation problems with nonconvex penalties can be solved with the same computational cost as convex penalties. In addition, we proposed model selection methods.

Free Research Field

統計科学、統計物理

Academic Significance and Societal Importance of the Research Achievements

非凸正則化は高いポテンシャルを持つものの、数学的に扱いにくいという問題点があった。本研究では、その数学的困難を統計力学的手法により解決し、凸正則化と同様に扱うことができる条件を特定した。また、収束条件を導出することができる確率伝搬法を非凸正則化に導入したことで、適切な正則化パラメータの選び方が明らかになった。また低コストで予測誤差を評価することが可能となり、予測に基づくモデリング方法も整った。これらの研究結果は、非凸正則化を用いた新しい推定方法を広く利用可能とするものであり、データ駆動科学に大きく貢献すると考える。