2023 Fiscal Year Annual Research Report
Quantifying Prediction Uncertainty in Machine Learning
| Project/Area Number |
20H04239
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 一誠 東京大学, 大学院情報理工学系研究科, 教授 (90610155)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三森 隆広 早稲田大学, 理工学術院総合研究所(理工学研究所), 次席研究員 (40760161)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 機械学習 / ロングテールデータ / 不均衡クラス分布 |
|---|
| Outline of Annual Research Achievements |
一般物体認識に代表されるクラス数が非常に多い多クラス分類を考える。このような場合、クラスごとの訓練データ数が均等になることはなく意図的に調整されない限りは一般的にロングテールの分布になる。このような超不均衡なクラス分布に対処するために、さまざまな手法が開発されている。
超不均衡クラス分布における手法として、近年Weight balancingという方法が既存手法と比較して性能が良いことが知られている。通常、不均衡クラス分布の問題は損失関数を工夫するなど複雑な方法が主流であったが、Weight balancingは、２段階ステップとweight decayを用いた通常の学習と重みを調整する学習の２段階の方法で既存手法よりも性能が良いことが分かっている。しかし、なぜこの方法が効果的なのかについて今だわかっていなかった。
本研究では、Neural collapse現象とReluネットワークの持つコーン効果と呼ばれる性質に着目してWeight balancingを理論的に解析をおこなった。
その結果、weight balancingは、1段階目の訓練でweight decayとクロスエントロピー損失によって特徴抽出器のフィッシャーの判別比を増加させ、２段階目の訓練でweight decayとクラスバランス損失によって暗黙的なロジット調整を引き起こすことがわかった。ロジットは予測の不確実性を表現する関数であることから不均衡クラス分布のデータにおいても予測の不確実性が重要であることがわかった。さらに、この解析結果からロジット調整を１段階目の訓練後に行うだけで既存のweight balancingと同程度の結果を得ることができることを示した。すなわち２段階目の学習が必要がないことを示した。これにより超不均衡クラス分布の問題はほとんど通常の問題と同様に学習すればよいことを示せた。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
