Scalable Bayesian analysis of high-dimensional streaming counts

2021 Fiscal Year Final Research Report

• Project/Area Number: 17K17659
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Economic statistics; Statistical science
• Research Institution: The University of Tokyo
• Principal Investigator: Irie Kaoru 東京大学, 大学院経済学研究科(経済学部), 講師 (20789169)
• Project Period (FY): 2017-04-01 – 2022-03-31
• Keywords: 計数データ / 時系列データ / 状態空間モデル / 逐次モンテカルロ法

Outline of Final Research Achievements

Research on sequential analysis of streaming counts. I developed a state-space model of the Poisson observations, utilizing the gamma-beta Markov chain as the state evolution. The conjugacy of gamma distributions enables the filtering of posterior and predictive distributions. I also considered an extension to the model with dynamic discount factors, providing a custom sequential Monte Carlo method. It is a slight extension, but crucial in adapting the predictions to an abrupt burst of counts, which is often observed in the access log data of websites.

Free Research Field

ベイズ統計学

Academic Significance and Societal Importance of the Research Achievements

計数時系列データは様々な分野で見られるデータの一形態であり、本研究課題で開発・提案した統計モデルおよび分析手法が広く応用されることが期待される。また、短時間で計算を完了しなければならないという設定は、実務上よくみられる状況であり、実データに対する予測や意思決定の問題に現実的な解答を与えている点でも本研究の成果には意義がある。本研究の成果をもとに多くの研究プロジェクトが派生していることから、純粋に統計学上の問題としての意義もおおいに認められる。