2022 Fiscal Year Annual Research Report
Quantifying Prediction Uncertainty in Machine Learning
| Project/Area Number |
20H04239
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 一誠 東京大学, 大学院情報理工学系研究科, 教授 (90610155)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三森 隆広 早稲田大学, 理工学術院総合研究所(理工学研究所), 次席研究員 (40760161)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 機械学習 / 少数データ学習 / メタ学習 |
|---|
| Outline of Annual Research Achievements |
プロトタイプネットワークは、メタ学習に基づくプロトタイプ分類器であり、クラス固有のプロトタイプを構築することで、未知の事例を分類するため、少数ショット学習において広く使用されている。この分類器は、メタテスト中にハイパーパラメータを調整する必要がない点が特徴である。最近の研究では、メタ学習アルゴリズムを使用しない新しい線形分類器を学習することで、プロトタイプネットワークと同等の性能が得られることが示され、注目を集めている。しかしながら、新しい線形分類器のトレーニングには、新しいクラスが出現するたびに分類器を再トレーニングする必要がある。
本研究では、プロトタイプ分類器が新しい線形分類器やメタ学習を用いずに同等の性能を発揮するメカニズムの分析を行った。まず前段階の実験として、標準の事前学習モデルを使用して抽出された特徴ベクトルを直接用いてメタテストでプロトタイプ分類器を構築する場合、プロトタイプネットワークや事前学習モデルの特徴ベクトルに対して新たに線形分類器をトレーニングする場合と比べて、同等の性能が得られないことを明らかにした。
そこで、プロトタイプ分類器に関する新たな汎化理論を導出し、特徴ベクトルの変換がプロトタイプ分類器の性能を向上させることを理論的に示した。さらに、導出された汎化誤差の上界を最小化するための複数の正規化手法を実験的に検討した結果、L2正規化を用い、クラス内分散とクラス間分散の比率を最小化することで、新しい分類器やメタ学習を用いずに同等の性能が得られることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の計画は既にほとんど終えており、現在までに得られた結果をさらに発展させたプロジェクトを進め、難関国際会議に通るレベルの成果を挙げている。
|
| Strategy for Future Research Activity |
進捗状況の理由で上げた通り、当初の計画は既にほとんど終えており、現在までに得られた結果をさらに発展させたプロジェクトを進め、難関国際会議に通るレベルの成果を挙げている。さらに発展させたプロジェクトをすでに進めているため、その研究成果をまとめて国際会議に投稿していく。
|
