2023 Fiscal Year Annual Research Report
Novel learning algorithms through off-sample generalization metric design
| Project/Area Number |
22H03646
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 機械学習 / 確率的最適化 / 統計的学習理論 |
|---|
| Outline of Annual Research Achievements |
本年度の主な実績として、(a)自動スケーリングによるロバストな分散抑制の開発と(b)二値分類に限定してマージン由来の代替(surrogate)損失関数を前提に汎化指標を改造する利点と課題を究明した、という2点を挙げる。以下、(a)と(b)それぞれの概要を説明する。
まず(a)については、昨年度から取り組んできた自動スケーリング法の実験検証がさらに進み、単純な線形モデルから非線形なニューラルネットワークによる画像分類タスクまで、幅広い学習課題における有効性を確認することができて、これまでの設計法の導出にこの実験結果を合わせた論文がAISTATS 2024に採択された。
次に(b)は昨年度まで触れてこなかったマージン由来の損失を取り上げて、従来の「単調型汎化指標」ではなく本提案の基軸となる「非単調型」の汎化指標を導入することによって、分類におけるいわゆるsurrogate理論の常識が大きく変わることを示すことができた。つまり、ゼロイチ損失ではなく滑らかな凸性のある代替損失関数の期待値を最小化することは誤答確率の最小化をimplyするという常識は、「期待値」を別の汎化指標に変更することで意外にも簡単に崩れてしまうことを理論的に示した。単調性の有無と関係なくこの「代替関数からの分離」は生じうるが、深層学習など表現力の強いモデルを前提とした場合、意図的に切り離したいときには単調型だと切り離せる保証はないが、非単調型だと保証できることも示しており、これを足掛かりに本提案の汎化指標に立脚した分類法を実装し、指標設計によって学習過程の挙動がどう変容するか、単純な線形モデルから大規模な深層学習モデルまで幅広く評価実験に取り組んで、実験結果を蓄積し、解析している最中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
サーバ一式の移設が完了し、安定的に強力な計算資源を絶えず活用できたことによって、本格的な評価実験が大きく前進した。(a)の結果は前の年度の終わりごろには初期成果が出始めていたので今年度のその延長線上の結果は想定内であった。一方の(b)に関しては今年度に入ってから着手したものであり、なおかつ汎化指標の設計が学習アルゴリズムの挙動を大きく変える力があることを確認できている現状は想定以上の進展である。理論的なメカニズムはまだ究明できていない要素が多いが、実用的な学習法の観点でいうと汎化指標を適切に選べば、誤答確率ではなくモデルの真正性が評価されるような損失値でもって高い汎化性能を促す効果やモデルパラメータの実質的な正則化をもたらす効果など、従来法では多くの試行錯誤が要されるのに対して比較的「自然」な形で、学習開始前に目的関数を決定する時点である程度保証できることは確認できており、全体として研究は順調に進んでいるといえる。
|
| Strategy for Future Research Activity |
先述の進展、特に(b)の進捗状況を踏まえて、多クラス分類への拡張は直近の課題だが、それと並行して行いたいのは画像やラベルにノイズがあり、そのノイズの分布や不均衡が不明である状況下の有効性の検証と、それを経てのアルゴリズムの改善策の探求である。本研究の当初からの目的である「都合の悪いデータや学習問題を汎化指標デザインで解決する」という方針に従って、マージンに限らず多クラス分類の代替損失も含めて代表的な損失関数と最適化法を与えられたものとして、汎化指標の選定（＝平均化ではなく別の損失分布の数値化を決めること）によって確実な効果が期待できる状況とできない状況を入念に追求し、本提案によってもたらされる真の自由度の範囲を解明していきたい。
|
