Developing a non-asymptotic inference theory for scientific hypothesis testing with statistical deep modelling

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K11780
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60030:Statistical science-related
• Research Institution: The University of Tokyo
• Principal Investigator: Imaizumi Masaaki 東京大学, 大学院総合文化研究科, 准教授 (90814088)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 高次元統計 / 深層学習 / ニューラルネットワーク / 比例的高次元 / 統計的推論

Outline of Final Research Achievements

In this research project, we developed theories and methods for statistical estimation and inference in high-dimensional models to advance the understanding and utilization of contemporary, highly flexible statistical models. Specifically, we created theories for estimation and inference in high-dimensional settings where the data and the number of parameters diverge proportionally, without imposing sparsity on the parameters.
More precisely, our work includes: (i) evaluating the rate of estimation error in linear regression models where the noise is not independent, (ii) developing bias correction methods and statistical inference methods for high-dimensional single index models with nonlinear elements, and (iii) advancing Bayesian estimation methods using the spectral structure of high-dimensional data.

Free Research Field

統計学・機械学習

Academic Significance and Societal Importance of the Research Achievements

本研究は、現在発展の著しい深層学習や人工知能といった大規模統計モデルに対して、それらの性質や活用法を明らかにするという基礎研究の性質を持っている。これらの大規模統計モデルは高い性能を発揮してはいるが、内部がブラックボックスであったり計算コストが大きいなどの欠点も多く持っており、これらの原理を理解して効率的・安定的に運用する技術は社会に強く求められている。本研究が発展することで、大規模統計モデルの誤差を正しく補正して性能を上げたり、その予測の不安定性を評価した厳密な検定法を作ったり、学習のパラメータの選択を効率化して計算コストを下げるといった多くの実用的技術の開発が可能になる。