Sample size problem in view of information geometry

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K11706
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60030:Statistical science-related
• Research Institution: Shiga University
• Principal Investigator: Sheena Yo 滋賀大学, データサイエンス学系, 教授 (80242709)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 標本数問題 / リスクの漸近展開 / 情報幾何 / 予測分布 / ダイバージェンス

Outline of Final Research Achievements

We assume that the parametric model does not include the true distribution. The proximity of the distribution closest to the true distribution in the model (Information Projection) to the predictive distribution obtained by substituting the maximum likelihood estimator for the parameters (Estimative Density) was measured using the Kullback-Leibler divergence, and its expected value, i.e. risk was used to study the asymptotic behavior. We studied the asymptotic behavior of the risk; 1) the risk was asymptotically expanded to quadratic order of the sample size, and 2) the relationship between divergence and Bayes error rate was obtained. Using the results, 3) we succeeded in establishing certain criteria for the sample size required for a given model.

Free Research Field

数理統計学

Academic Significance and Societal Importance of the Research Achievements

単純な統計モデルから巨大な深層学習モデルまで、様々な確率モデルが構築されている。その際、モデルのパラメーターを学習させるためには、どれくらいの大きさの標本が必要か（いわゆる、標本数問題）については、はっきりした基準がなかった。本研究では、パラメーターを座標としたモデルの集まりの中で最良の点（Information Projecton）に、学習済みモデル（標本から得られる最尤推定量でパラメーターを置き換えた予測分布、Estimative density）が十分近くなるために、どの程度の大きさの標本が必要かという観点から、標本数問題に一定の答えを出している。この点に、本研究の最大の意義がある。