Robust and efficient learning algorithms through control of margin distributions
Project/Area Number |
19K20342
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 61030:Intelligent informatics-related
|
Research Institution | Osaka University |
Principal Investigator |
|
Project Period (FY) |
2019-04-01 – 2022-03-31
|
Project Status |
Completed (Fiscal Year 2021)
|
Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
Keywords | 統計的学習理論 / 機械学習 / 確率的最適化 |
Outline of Research at the Start |
産学官の各界で空前の「AIブーム」が進むなか、未来の情報社会を支える基盤技術として機械学習を確立させるためには、他の工学分野と同様、確固たる性能や安全性の保証が求められる。本研究では,従来の学習アルゴリズムを不安定にさせる(A)ラベルノイズと(B)標本の不均一性、さらには(C)ラベルの種類が膨大であるという3点に着目する。識別能力の指標である識別マージンを新しい視点から捉え直して、その確率分布自体を制御対象とし、新しい学習アルゴリズムの開発および理論的な性能解析を行う。
|
Outline of Final Research Achievements |
Machine learning algorithms are driven by noisy, data-driven feedback, typically in the form of some kind of stochastic reward or loss. In this project, our basic motivation is the existence of numerous learning tasks in which traditional methods fail to learn in a stable or efficient manner, and the desire to find a principled and theoretically grounded solution. Central to our approach was the notion placing our focus not on the average loss (in particular, classification margins), but rather the entire probability distribution of losses (or their gradients, etc.). By studying many novel ways to summarize distribution information, and pairing these feedback mechanisms with stabilizing sub-routines to ensure robust, efficient learning, we believe our results, taken together, represent a meaningful contribution to the foundations of learning algorithm design under diverse notions of "risk."
|
Academic Significance and Societal Importance of the Research Achievements |
機械学習技術が採用活動や最先端医療の現場に積極的に導入されている昨今の社会情勢を踏まえて、工学的な性能の維持と明確な保証はもちろん、その技術の利用に際しての意思決定の合理化、透明化、効率化などが喫緊の課題である。本研究の成果の多くは強い性能保証を付与した汎用的な学習アルゴリズムの開発や解析に相当するが、これらの結果以上に重要なのは、本研究の切り口を通して「AIの性能をどう捉えるべきかは議論・体系化すべきだ」と示した点である。この土台を踏まえて、信頼性の高い機械学習技術の確立に向けて、汎化能力の数値化方法、ユーザーの要望、学習則設計の三者をめぐるAIワークフローの改革を引き続き追求していく。
|
Report
(4 results)
Research Products
(16 results)