研究課題/領域番号 |
22H03646
|
研究種目 |
基盤研究(B)
|
配分区分 | 補助金 |
応募区分 | 一般 |
審査区分 |
小区分61030:知能情報学関連
|
研究機関 | 大阪大学 |
研究代表者 |
|
研究期間 (年度) |
2022-04-01 – 2026-03-31
|
研究課題ステータス |
交付 (2023年度)
|
配分額 *注記 |
17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)
2023年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円)
2022年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
|
キーワード | 統計的学習理論 / 機械学習 / 確率的最適化 |
研究開始時の研究の概要 |
空前の「AIブーム」が進み,深層学習をはじめとする機械学習技術が様々なドメインで応用され、産学官の各界と世間一般の注目を集めている。しかし、目覚ましい成果の裏には、膨大な計算資源が要求されるほか、人手に頼る微調整などの試行錯誤が不可避なため、再現性と透明性と経済性をめぐる課題が山積みである。本研究では、従来の機械学習が「平均的な性能」に偏重している点を切り口に、損失分布そのものへと視野を拡げ、多種多様の「汎化指標」のデザインに基づく斬新な学習アルゴリズム設計法を探求し、データの外れ値や損失分布のスケール変化、クラス不均衡、ラベルノイズなど困難な学習課題を打開し、機械学習技術の進化を図る。
|
研究実績の概要 |
本年度の主な成果は幅広い損失分布のスケールにかかわらず、平均的な性能、バラツキの抑制、外れ値に対する頑健性をバランスよく調節できる最適化法の導出と初期的な実験検証である。
この手法は平滑性のある疑似Huber関数を導入して新しいリスク関数を設計しており、Sun (2021)がロバストな期待値推定の文脈で示したスケール適応の原理を頼りに、M推定量を大きく超越してあらゆる損失関数へ拡張し、位置とスケールを学習モデルのパラメータとともに効率よく学習する方法を提案し、平均と分散を総合した学習問題における有用性を検証した。微調整を要することなく、分散の抑制に役立つことがわかっているリスク指標と比べて優位になるデータセットがあること、計算オーバーヘッドも許容範囲であることなどは確認できたが、幅広いデータセットを対象とした場合の平均的な性能の向上は課題として残っている。学習法の導出と実験結果をまとめた論文を執筆し、近く投稿する予定である。
さらに、提案手法を他の学習問題に応用したり、上述の論文中の実験結果を再現したりするために、numpyを中心とした拡張性の高いソフトウェアとデモンストレーション用のJupyterノートブックを作成し、GitHubのリポジトリに載せて一般公開している。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初から目標として掲げているスケーリング自動化の方法は理論的な根拠を拠り所にして導出されるアルゴリズムを提案し、その初期的な実験検証も開始して線形モデルを前提とした場合の知見もまとまったので、この項目に関しては順調に進んでいると言える。また、深層学習を想定した学習アルゴリズムの開発に向けて、サーバの騒音や電力の問題を解消するために一部の機器を移設し、円滑に大規模の数値実験を行う環境も整い、実験に向けた実装もすでに着手している。
一方、SVMなどマージン系の最適化法は文献調査をし、本提案の手法を導入することによって新たに発生する興味深い学習理論的な問題(汎化指標の設計とclassification calibrationに関して)を提起するなど基礎的な部分は進んでいるが、手法そのものはまだ着手しておらず、次年度以降に取り組む予定である。
|
今後の研究の推進方策 |
今年度は主としてニューラルネットワークの学習に主眼を置いて、学習データが限られているなか、試行錯誤による微調整を極限まで抑えて、高い確率で一度の学習をもって優れた意思決定ができるような学習法の設計法を探求し、特に従来のERM+ノルム正則化と比較しながら性能評価や挙動解析を行う。
全体的なアプローチとして、双方向的なばらつきを定量化する汎化指標を導入し、モデルいの「過剰な自信」を抑制する仕組みを導入することで、過学習が発生しにくく、調整がしやすい学習法の原型を目指す。ポイントとして「何をもって過剰とするか」という線引きは、昨年度から取り組んでいるスケール自動化の技法を取り入れることで、事前知識が乏しい状況下でも、大まかな設定が幅広いモデルやデータセットに通用する頑健な実装法を実証的に検証する予定である。
実験の規模や内容として、sharpness-aware minimization (SAM)学習法を提唱したForet et al. (2021)とgradient norm penalizationの定式化と実証検証を行ったZhao et al. (2022)に沿って、最先端の先行研究と比較しながら、需要の高いアーキテクチャから優先的に取り組んでいく予定である。
|