Cluster analysis for grouping statistical models and its application

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K11862
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60030:Statistical science-related
• Research Institution: Kyushu University
• Principal Investigator: Hirose Kei 九州大学, マス・フォア・インダストリ研究所, 准教授 (40609806)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: クラスタリング / クロスバリデーション

Outline of Final Research Achievements

We constructed flexible statistical modeling for capturing complex structures in data. Specifically, instead of using a single regression or discriminant analysis, we constructed multiple statistical models and grouped them; then, a prediction was performed for each group. To group the statistical models, a cluster analysis was performed. Conventional cluster analysis adopted a distance matrix. On the other hand, we defined a function based on the prediction error to improve the prediction accuracy. Furthermore, an efficient computational algorithm to perform clustering was established.

Free Research Field

統計科学

Academic Significance and Societal Importance of the Research Achievements

近年、ディープラーニングを用いたデータ解析が主流となっているが、ディープラーニングは、画像やテキストなど、サンプルサイズが十分に大きい場合に精度の高い予測モデルが構築できる。一方で、遺伝子データや電力需要量データ、材料データ等、ディープラーニングが実行できるほどの多くの観測が得られないことがある。本研究では、このような場合に、できるだけ精度良く予測できる柔軟なモデルを提案した。また、モデルを新たに構築しただけでなく、高速なアルゴリズムの提案、さらにはRパッケージの公開も行った。