Novel learning algorithms through off-sample generalization metric design

Research Project

Project/Area Number	23K24902
Project/Area Number (Other)	22H03646 (2022-2023)
Research Category	Grant-in-Aid for Scientific Research (B)
Allocation Type	Multi-year Fund (2024) Single-year Grants (2022-2023)
Section	一般
Review Section	Basic Section 61030:Intelligent informatics-related
Research Institution	Osaka University
Principal Investigator	HOLLAND Matthew・James 大阪大学, 産業科学研究所, 助教 (00810227)
Project Period (FY)	2022-04-01 – 2026-03-31
Project Status	Granted (Fiscal Year 2024)
Budget Amount *help	¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000) Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2024: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000) Fiscal Year 2023: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000) Fiscal Year 2022: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Keywords	機械学習 / 統計的学習理論 / 確率的最適化
Outline of Research at the Start	空前の「AIブーム」が進み，深層学習をはじめとする機械学習技術が様々なドメインで応用され、産学官の各界と世間一般の注目を集めている。しかし、目覚ましい成果の裏には、膨大な計算資源が要求されるほか、人手に頼る微調整などの試行錯誤が不可避なため、再現性と透明性と経済性をめぐる課題が山積みである。本研究では、従来の機械学習が「平均的な性能」に偏重している点を切り口に、損失分布そのものへと視野を拡げ、多種多様の「汎化指標」のデザインに基づく斬新な学習アルゴリズム設計法を探求し、データの外れ値や損失分布のスケール変化、クラス不均衡、ラベルノイズなど困難な学習課題を打開し、機械学習技術の進化を図る。
Outline of Annual Research Achievements	本年度の主な実績として、(a)自動スケーリングによるロバストな分散抑制の開発と(b)二値分類に限定してマージン由来の代替(surrogate)損失関数を前提に汎化指標を改造する利点と課題を究明した、という2点を挙げる。以下、(a)と(b)それぞれの概要を説明する。まず(a)については、昨年度から取り組んできた自動スケーリング法の実験検証がさらに進み、単純な線形モデルから非線形なニューラルネットワークによる画像分類タスクまで、幅広い学習課題における有効性を確認することができて、これまでの設計法の導出にこの実験結果を合わせた論文がAISTATS 2024に採択された。次に(b)は昨年度まで触れてこなかったマージン由来の損失を取り上げて、従来の「単調型汎化指標」ではなく本提案の基軸となる「非単調型」の汎化指標を導入することによって、分類におけるいわゆるsurrogate理論の常識が大きく変わることを示すことができた。つまり、ゼロイチ損失ではなく滑らかな凸性のある代替損失関数の期待値を最小化することは誤答確率の最小化をimplyするという常識は、「期待値」を別の汎化指標に変更することで意外にも簡単に崩れてしまうことを理論的に示した。単調性の有無と関係なくこの「代替関数からの分離」は生じうるが、深層学習など表現力の強いモデルを前提とした場合、意図的に切り離したいときには単調型だと切り離せる保証はないが、非単調型だと保証できることも示しており、これを足掛かりに本提案の汎化指標に立脚した分類法を実装し、指標設計によって学習過程の挙動がどう変容するか、単純な線形モデルから大規模な深層学習モデルまで幅広く評価実験に取り組んで、実験結果を蓄積し、解析している最中である。
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason サーバ一式の移設が完了し、安定的に強力な計算資源を絶えず活用できたことによって、本格的な評価実験が大きく前進した。(a)の結果は前の年度の終わりごろには初期成果が出始めていたので今年度のその延長線上の結果は想定内であった。一方の(b)に関しては今年度に入ってから着手したものであり、なおかつ汎化指標の設計が学習アルゴリズムの挙動を大きく変える力があることを確認できている現状は想定以上の進展である。理論的なメカニズムはまだ究明できていない要素が多いが、実用的な学習法の観点でいうと汎化指標を適切に選べば、誤答確率ではなくモデルの真正性が評価されるような損失値でもって高い汎化性能を促す効果やモデルパラメータの実質的な正則化をもたらす効果など、従来法では多くの試行錯誤が要されるのに対して比較的「自然」な形で、学習開始前に目的関数を決定する時点である程度保証できることは確認できており、全体として研究は順調に進んでいるといえる。
Strategy for Future Research Activity	先述の進展、特に(b)の進捗状況を踏まえて、多クラス分類への拡張は直近の課題だが、それと並行して行いたいのは画像やラベルにノイズがあり、そのノイズの分布や不均衡が不明である状況下の有効性の検証と、それを経てのアルゴリズムの改善策の探求である。本研究の当初からの目的である「都合の悪いデータや学習問題を汎化指標デザインで解決する」という方針に従って、マージンに限らず多クラス分類の代替損失も含めて代表的な損失関数と最適化法を与えられたものとして、汎化指標の選定（＝平均化ではなく別の損失分布の数値化を決めること）によって確実な効果が期待できる状況とできない状況を入念に追求し、本提案によってもたらされる真の自由度の範囲を解明していきたい。