Unified approach for data sampling problems based on online prediction theory

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K12032
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Yokohama City University (2023); Kyushu University (2021-2022)
• Principal Investigator: Daiki Suehiro 横浜市立大学, データサイエンス学部, 准教授 (20786967)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: データサンプリング / オンライン予測 / ノイズあり機械学習

Outline of Final Research Achievements

For various data sampling problem in machine learning, I designed a unified formulation and gave theoretical analyses based on online prediction theory. More precisely, for the pseudo labeling problem in Learning from Label proportions and data selection problem in learning with noisy labels, I proposed a unified framework for adaptively sampling good data according to the learning behavior. For both problems, I proved the proposed algorithms work effectively in theory and in practice.

Free Research Field

統計的学習理論，オンライン意思決定理論，機械学習応用

Academic Significance and Societal Importance of the Research Achievements

データから学習を行う機械学習は人工知能の中核をなす技術である．一般に，データに付与される「正解」は誤り（ノイズ）が含まれていたり，全てのデータに付与されていなかったり，不完全なものであることが多い．このようなデータから適切な学習を行うためには，データ集合の中から適切な情報だけを取り出すサンプリングが重要な役割を担う．しかし，サンプリングはデータの性質やタスクに応じたアドホックな定式化や手法が多く，汎用性や理論解析に関する議論が欠如していた．本研究ではデータやタスク依存の現状を打破する統合的な枠組みと理論性能保証の指針を与え，サンプリング技術ひいては機械学習技術の発展に大きく寄与するものである．