Model selection for Bayesian sparse estimation in hierarchical models

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K20363
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61040:Soft computing-related
• Research Institution: The Institute of Statistical Mathematics
• Principal Investigator: Ayaka Sakata 統計数理研究所, 数理・推論研究系, 准教授 (80733071)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 階層ベイズ模型 / 確率伝搬法 / ハイパーパラメータ推定 / スパース推定

Outline of Final Research Achievements

In this study, the estimation method and algorithms for the hierarchical Bayes model is discussed. In particular, we introduce message passing algorithms for the hierarchical Bayes models. The results of this study show that hyperparameter estimation in the hierarchical Bayesian model can be performed by considering a conditional probability distribution called a message with respect to the hyperparameters, in addition to the message used in the conventional message passing algorithm. The method was applied to an estimation problem known as group testing and was shown to achieve estimation with high accuracy.

Free Research Field

統計物理

Academic Significance and Societal Importance of the Research Achievements

一般に推定問題においては、確率変数の背後にあるマクロなパラメータを事前情報として用いる場合がある。例えばスパース推定では、N次元のベクトルの中に含まれる非ゼロ要素を推定したい場合、非ゼロ要素の割合がx%であるという事前知識を用いることで、非ゼロ要素の推定を効率化する。しかし、この「x%」という値(ハイパーパラメータ)は未知の場合が多い。理論ではハイパーパラメータが既知である設定を用いることもあるが、現実的にはハイパーパラメータも同時に推定する必要がある。本研究は、このハイパーパラメータ推定に対して、計算量と精度の観点で現実的な方法を提案し、より実用的設定のもとでの推定を実現するものである。