| Project/Area Number |
22K17962
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
計良 宥志 千葉大学, 大学院情報学研究院, 助教 (00887705)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
|
|---|
| Keywords | 敵対的摂動 / 深層学習 / 相互作用値 / Transformer / 敵対的訓練 / 機械学習 / 消失関数 |
|---|
| Outline of Research at the Start |
有限の数の訓練データから学習を行う場合，訓練データ上で全く同じ振る舞いをする関数は無数に存在する．多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である．本研究の目的は，深層ゼロ関数学習という新たな問題に取り組み，訓練データ上で全く同じ振る舞いをする関数を自在に行き来する方法を実現することである．あるタスクで学習された関数が与えられた時，同じ訓練データでゼロ値をとるよう学習された深層ゼロ関数を加えても訓練データ上の振る舞いは変化しない．この性質を利用して，過学習改善による学習済モデルの改良や敵対的サンプルへの耐性向上向上など，様々なタスクへの貢献を目指す．
|
| Outline of Annual Research Achievements |
有限の数の訓練データから学習を行う場合，訓練データ上で全く同じ振る舞いをする関数は無数に存在する．これは特に現代の overparameterized な深層学習モデルで顕著であり，多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である．本年は，（ア）深層学習モデルの敵対的訓練における学習ダイナミクスに関する理論的な分析（イ）敵対的摂動からの学習可能性に関する理論的な分析，そして（ウ）Vision Transformerの入出力の関係を説明するゲーム理論的手法の開発，という3つの成果を得た．敵対的訓練は，入力への（敵対的な）摂動にロバストな深層学習モデルの訓練に用いられる．（ア）では，十分幅の広い深層ニューラルネットワークの学習初期の学習ダイナミクスに関して，理論的な結果を得た．これは機械学習のトップ会議であるNeurIPSに採択され，12月にアメリカにて発表を行った．また（イ）に関しては，敵対的な摂動のみから学習した深層学習モデルが自然な画像の分類をなぜ実現できるのかを2層の素朴なニューラルネットワークにおける解析で初めて理論的に明らかにした．近年，2層同次ニューラルネットワークにおいて，学習を行った二値分類モデルの分類境界が初期化によらずにほぼ一致し，またそれが線形であることが報告されている．本研究では，この結果を摂動学習へ適用した．その結果，摂動学習を行なったモデルの分類境界には，敵対摂動とそれに付随する（人間の視点では）誤ったラベルで学習した効果が影響しつつも，通常のサンプルで学習した場合の決定境界が現れることを明らかにした．（ウ）に関しては，従来の説明手法が入力変数の関係性を明示的に考慮していない点を指摘し，ゲーム理論から輸入したInteractionという指標により定量化した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
理論面では，深層学習モデルの学習ダイナミクスや分類境界の様子を敵対的訓練・摂動の文脈で分析し重要な結果が得られている．また，実用面でもVision Transformerのような広く用いられるモデルの挙動を説明する強力な可視化手法を設計できた．
|
| Strategy for Future Research Activity |
本年の進展のうち，（イ）敵対的摂動からの学習可能性に関する理論的な分析，および（ウ）Vision Transformerの入出力の関係を説明するゲーム理論的手法の開発，の二つの成果に関してはさらなる拡張が可能であると考えている．前者に関しては，ネットワークの活性化関数や学習するデータ分布における仮定を外し，さらに一般的な主張ができると考えている．また後者に関しては，現在はクラス分類タスクにおいてのみ解析を行なっているが，モデルがより多次元の出力を行うタスク，例えば物体認識においても有効であると考えている．この場合，今回の提案のように入力変数同士の関係性を見るだけではなく，出力変数同士の関係性も見る必要がある．この技術的課題を解決すれば，非常に広範なユースケースで利用できる強力な説明手法になると考えている．
|
