2021 Fiscal Year Annual Research Report
Robust and efficient learning algorithms through control of margin distributions
Project/Area Number |
19K20342
|
Research Institution | Osaka University |
Principal Investigator |
|
Project Period (FY) |
2019-04-01 – 2022-03-31
|
Keywords | 統計的学習理論 / 機械学習 |
Outline of Annual Research Achievements |
「確率的勾配情報の保証強化」 現代の機械学習アルゴリズムの多くは損失値よりも、それを算出する損失関数の勾配情報を中心に逐次的なパラメータ更新を行う。中でも、この学習仮定の各ステップで得るパラメータを平均化した結果が強い性能保証を享受することは知られているが、勾配情報を算出する際に使うパラメータ候補はこの平均化された結果とは異なり、勾配情報の源泉に対する性能保証が弱く、方法論として明確なギャップが存在する。損失や勾配の分布がheavy-tailedである状況下でもこのギャップを埋める新しい方策として、多くの損失関数が有する平滑性を利用した勾配ノルムの切断を導入することで、実に多様な分布の下でも確率勾配法をはじめ、様々なオンライン学習則のバッチ化に際して利用できる汎用的なロバスト化法を提案し、従来より強化された理論保証および数値実験による高い実用性を確認している。この成果は機械学習分野のトップ会議であるAAAI 2022に採択された。
「spectral riskにおけるロバストな学習則の開発」 対象とする汎化指標クラスを分布の分位値(quantile)の重み付き平均(spectral riskもしくはL-riskなど)に焦点を当て、実用性と理論保証が釣り合った新しい学習則の開発に取り組んだ。具体的には、CVaRなど一部のスペシャルケースを除き、損失分布が特定のパラメトリック分布族に属すると仮定しない限り、spectral riskの確率的勾配情報を算出することが困難である。対策として、この目的関数の滑らかな近似を形成し、その勾配情報が元の目的関数をうまく近似することを示した上で、それをサブルーチンとして導入した更新則を開発し、真のspectral riskをもってデータ数の増加とエラーバウンドの減少を明記している。この成果をはAISTATS 2022に採択された。
|
Research Products
(6 results)