Quantifying Prediction Uncertainty in Machine Learning

• Project/Area Number: 23K20385
• Project/Area Number (Other): 20H04239 (2020-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2020-2023)
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: The University of Tokyo
• Principal Investigator: 佐藤 一誠 東京大学, 大学院情報理工学系研究科, 教授 (90610155)
• Co-Investigator(Kenkyū-buntansha): 三森 隆広 早稲田大学, 理工学術院総合研究所(理工学研究所), 次席研究員 (40760161)
• Project Period (FY): 2020-04-01 – 2025-03-31
• Project Status: Declined (Fiscal Year 2024)
• Budget Amount: ¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000); Fiscal Year 2024: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000); Fiscal Year 2023: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000); Fiscal Year 2022: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000); Fiscal Year 2021: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000); Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
• Keywords: 機械学習 / ロングテールデータ / 不均衡クラス分布 / 不確実性 / 少数データ学習 / メタ学習 / 確率予測 / 深層学習 / 医用画像 / 細胞画像 / 汎化能力 / 学習理論 / PAC Bayes

Outline of Research at the Start

本研究課題では，『不確実性の定量化の手法として評価可能なものはどのようなものか』
を考える．言い換えると，人工知能が「自分が知らない」ことを正確に知っている(known unknowns)状況を定式化・定量化するにはどうすればよいかを考えたい．機械学習を実応用する際には，(1)学習データの構築　 (2)モデルの学習(パラメータ推定)　(3)未知データの予測の３つの過程を行う必要があるため，それぞれの過程において不確実性を考慮した機械学習の基盤技術の開発を目的とする．

Outline of Annual Research Achievements

一般物体認識に代表されるクラス数が非常に多い多クラス分類を考える。このような場合、クラスごとの訓練データ数が均等になることはなく意図的に調整されない限りは一般的にロングテールの分布になる。このような超不均衡なクラス分布に対処するために、さまざまな手法が開発されている。
超不均衡クラス分布における手法として、近年Weight balancingという方法が既存手法と比較して性能が良いことが知られている。通常、不均衡クラス分布の問題は損失関数を工夫するなど複雑な方法が主流であったが、Weight balancingは、２段階ステップとweight decayを用いた通常の学習と重みを調整する学習の２段階の方法で既存手法よりも性能が良いことが分かっている。しかし、なぜこの方法が効果的なのかについて今だわかっていなかった。
本研究では、Neural collapse現象とReluネットワークの持つコーン効果と呼ばれる性質に着目してWeight balancingを理論的に解析をおこなった。
その結果、weight balancingは、1段階目の訓練でweight decayとクロスエントロピー損失によって特徴抽出器のフィッシャーの判別比を増加させ、２段階目の訓練でweight decayとクラスバランス損失によって暗黙的なロジット調整を引き起こすことがわかった。ロジットは予測の不確実性を表現する関数であることから不均衡クラス分布のデータにおいても予測の不確実性が重要であることがわかった。さらに、この解析結果からロジット調整を１段階目の訓練後に行うだけで既存のweight balancingと同程度の結果を得ることができることを示した。すなわち２段階目の学習が必要がないことを示した。これにより超不均衡クラス分布の問題はほとんど通常の問題と同様に学習すればよいことを示せた。

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks Using PAC-Bayesian Analysis (2020)
  • Author(s): Yusuke Tsuzuku, Issei Sato, Masashi Sugiyama
  • Journal Title: Proceedings of the 37th International Conference on Machine Learning Volume: 119 Pages: 9636-9647
  • Peer Reviewed / Open Access
• [Presentation] Exploring Weight Balancing on Long-Tailed Recognition Problem (2024)
  • Author(s): Naoya Hasegawa, Issei Sato
  • Organizer: 12th International Conference on Learning Representations
  • Int'l Joint Research
• [Presentation] A Closer Look at Prototype Classifier for Few-shot Image Classification (2022)
  • Author(s): Mingcheng Hou, Issei Sato
  • Organizer: hirty-sixth Annual Conference on Neural Information Processing Systems (NeurIPS2022)
  • Int'l Joint Research
• [Presentation] Diagnostic Uncertainty Calibration: Towards Reliable Machine Predictions in Medical Domain (2021)
  • Author(s): Takahiro Mimori , Keiko Sasada , Hirotaka Matsui , Issei Sato
  • Organizer: International Conference on Artificial Intelligence and Statistics
  • Int'l Joint Research
• [Presentation] A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima (2021)
  • Author(s): Zeke Xie, Issei Sato, Masashi Sugiyama
  • Organizer: International Conference on Learning Representations
  • Int'l Joint Research
• [Presentation] Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks Using PAC-Bayesian Analysis (2020)
  • Author(s): Yusuke Tsuzuku
  • Organizer: International Conference on Machine Learning
  • Int'l Joint Research