2022 Fiscal Year Research-status Report
| Project/Area Number |
22K17962
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
計良 宥志 千葉大学, 大学院工学研究院, 助教 (00887705)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層学習 / 敵対的訓練 |
|---|
| Outline of Annual Research Achievements |
有限の数の訓練データから学習を行う場合，訓練データ上で全く同じ振る舞いをする関数は無数に存在する．これは特に現代の overparameterized な深層学習モデルで顕著であり，多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である．本年は，深層学習モデルの敵対的訓練における学習ダイナミクスに関する理論的な分析を行なった．敵対的訓練は，入力への摂動にロバストな深層学習モデルの訓練に用いられる．しかしその理論的な性質は深く理解されていない．本研究では，十分幅の広い深層ニューラルネットワークの学習初期の学習ダイナミクスに関して，理論的な結果を得た．解析にあたり，従来の理論的枠組みが直接適用できないため，まず新たな理論的枠組みを作り，それを用いて分析した．その結果，どのようなモデルアーキテクチャやハイパーパラメータ設定でどの程度の学習ができるのかという点について理論的な評価を与えてた．具体的には，通常の多層ニューラルネットワークが敵対的学習では不安定となることを示し，残差接続を導入することで安定ができることを示した．実験において，この理論的結果が実際の学習の挙動と非常によく一致することや，学習初期以降でもよく成立していることを確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
深層学習モデルの学習ダイナミクスの解析に関する方法論に習熟し，深層ゼロ関数学習の理論的性質を調査する足掛かりを得てた．
|
| Strategy for Future Research Activity |
深層ゼロ関数学習において問題となる正規化の問題に取り組む．勾配正規化等の単純なもののみならず，近年発展著しいTransformerによる計算を考えている．近年では，Transformerの記号回帰問題における有用性も報告されており，これがゼロ関数学習へ応用できると考えている．このようなTransformerを用いる場合，正規化の問題を回避できる可能性もある．ゼロ関数学習への複数のアプローチを検討していく．
|
| Causes of Carryover |
主な計算実験および成果発表を次年度に行うため．
|
