| 研究課題/領域番号 |
23K20385
|
|---|
| 補助金の研究課題番号 |
20H04239 (2020-2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2020-2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
佐藤 一誠 東京大学, 大学院情報理工学系研究科, 教授 (90610155)
|
|---|
| 研究分担者 |
三森 隆広 早稲田大学, 理工学術院総合研究所(理工学研究所), 次席研究員 (40760161)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2025-03-31
|
| 研究課題ステータス |
採択後辞退 (2024年度)
|
| 配分額 *注記 |
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2024年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2023年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2022年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2021年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2020年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
|
|---|
| キーワード | 機械学習 / ロングテールデータ / 不均衡クラス分布 / 不確実性 / 少数データ学習 / メタ学習 / 確率予測 / 深層学習 / 医用画像 / 細胞画像 / 汎化能力 / 学習理論 / PAC Bayes |
|---|
| 研究開始時の研究の概要 |
本研究課題では，『不確実性の定量化の手法として評価可能なものはどのようなものか』
を考える．言い換えると，人工知能が「自分が知らない」ことを正確に知っている(known unknowns)状況を定式化・定量化するにはどうすればよいかを考えたい．機械学習を実応用する際には，(1)学習データの構築 (2)モデルの学習(パラメータ推定) (3)未知データの予測の３つの過程を行う必要があるため，それぞれの過程において不確実性を考慮した機械学習の基盤技術の開発を目的とする．
|
| 研究実績の概要 |
一般物体認識に代表されるクラス数が非常に多い多クラス分類を考える。このような場合、クラスごとの訓練データ数が均等になることはなく意図的に調整されない限りは一般的にロングテールの分布になる。このような超不均衡なクラス分布に対処するために、さまざまな手法が開発されている。
超不均衡クラス分布における手法として、近年Weight balancingという方法が既存手法と比較して性能が良いことが知られている。通常、不均衡クラス分布の問題は損失関数を工夫するなど複雑な方法が主流であったが、Weight balancingは、２段階ステップとweight decayを用いた通常の学習と重みを調整する学習の２段階の方法で既存手法よりも性能が良いことが分かっている。しかし、なぜこの方法が効果的なのかについて今だわかっていなかった。
本研究では、Neural collapse現象とReluネットワークの持つコーン効果と呼ばれる性質に着目してWeight balancingを理論的に解析をおこなった。
その結果、weight balancingは、1段階目の訓練でweight decayとクロスエントロピー損失によって特徴抽出器のフィッシャーの判別比を増加させ、２段階目の訓練でweight decayとクラスバランス損失によって暗黙的なロジット調整を引き起こすことがわかった。ロジットは予測の不確実性を表現する関数であることから不均衡クラス分布のデータにおいても予測の不確実性が重要であることがわかった。さらに、この解析結果からロジット調整を１段階目の訓練後に行うだけで既存のweight balancingと同程度の結果を得ることができることを示した。すなわち２段階目の学習が必要がないことを示した。これにより超不均衡クラス分布の問題はほとんど通常の問題と同様に学習すればよいことを示せた。
|
| 現在までの達成度 (段落) |
令和5年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和5年度が最終年度であるため、記入しない。
|
