| Project/Area Number |
23K20385
|
|---|
| Project/Area Number (Other) |
20H04239 (2020-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2020-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
Sato Issei 東京大学, 大学院情報理工学系研究科, 教授 (90610155)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三森 隆広 早稲田大学, 理工学術院総合研究所(理工学研究所), 次席研究員 (40760161)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Project Status |
Completed (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2024: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2023: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2022: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2021: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
|
|---|
| Keywords | 機械学習 / 深層学習 / 汎化理論 / 平坦性 / 予測確率 / Few-shot学習 / ロングテール識別問題 / ロングテールデータ / 不均衡クラス分布 / 不確実性 / 少数データ学習 / メタ学習 / 確率予測 / 医用画像 / 細胞画像 / 汎化能力 / 学習理論 / PAC Bayes |
|---|
| Outline of Research at the Start |
本研究課題では，『不確実性の定量化の手法として評価可能なものはどのようなものか』
を考える．言い換えると，人工知能が「自分が知らない」ことを正確に知っている(known unknowns)状況を定式化・定量化するにはどうすればよいかを考えたい．機械学習を実応用する際には，(1)学習データの構築 (2)モデルの学習(パラメータ推定) (3)未知データの予測の３つの過程を行う必要があるため，それぞれの過程において不確実性を考慮した機械学習の基盤技術の開発を目的とする．
|
| Outline of Final Research Achievements |
This project advanced deep learning research through the common lens of uncertainty, achieving four main results. We clarified the link between loss-landscape flatness and generalization by conducting a PAC-Bayes analysis that treats learned parameters’ uncertainty explicitly. For medical image analyis, we introduced alpha-calibration, a method that incorporates inter-expert variability into diagnostic probabilities to correct the model’s over-confidence. In few-shot learning, we reinterpreted generalization analysis via within-class variance in feature space and proposed a strategy that reduces this uncertainty to improve performance. For extreme class-imbalance scenarios, we provided a theoretical analysis grounded in Neural Collapse and probabilistic calibration that explains and enhances performance by adjusting prediction probabilities.
|
| Academic Significance and Societal Importance of the Research Achievements |
深層学習が社会的に浸透する中で、その不確実性を制御する理論と実践を横断的に整備したことに学術的及び社会的意義があると考えている。
平均平坦度の再定義で深層学習における汎化の仕組みを解明した。
また、応用として医用画像における予測確率の制御するα校正により深層モデルの予測確率の解釈性を多変えることができた。Few-Shot学習のように少数サンプルから学習することを可能にする技術や、一般物体認識のように非常に偏ったクラス分布を持つデータの学習手法を理論的に解明しさらに手法を簡略化することができた。
|
