Statistical mechanics of heuristic methods in multi-stage learning

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K21310
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1002:Human informatics, applied informatics and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: Takahashi Takashi 東京大学, 大学院理学系研究科(理学部), 助教 (90906661)
• Project Period (FY): 2021-08-30 – 2024-03-31
• Keywords: 統計力学 / 半教師あり学習 / レプリカ法

Outline of Final Research Achievements

The purpose of this study was to understand the behavior of a self-training algorithm that assigns pseudo labels to data points based on a pre-trained model and then retrains a new model using these labels. To achieve this, we analyzed the behavior of a linear model trained with this method for a binary classification problem using the mean-field theory of statistical mechanics. This analysis showed that the optimal approach varies with the number of iterations, and we organized strategies for efficiently improving generalization performance using this algorithm.

Free Research Field

ソフトコンピューティング

Academic Significance and Societal Importance of the Research Achievements

データ科学の実務的な場面ではラベル付きデータが十分にあるという理想的な設定にないことは一般的で、分析者は様々なヒューリスティクスを用いて問題に対処している。そのなかで多段階の学習に基づくヒューリスティクスはアイディアを実装に繋げやすく、近年盛んに用いられている。本研究はその流れに沿い、そのような多段階の学習に基づくヒューリスティクスの利用方法に関する示唆を与えるものであり、実務に向けた理論的知見を新たに加えたという意義があると思われる。