| Project/Area Number |
22K17962
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
計良 宥志 千葉大学, 大学院工学研究院, 助教 (00887705)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
|
|---|
| Keywords | 深層学習 / 敵対的訓練 / 機械学習 / 消失関数 |
|---|
| Outline of Research at the Start |
有限の数の訓練データから学習を行う場合，訓練データ上で全く同じ振る舞いをする関数は無数に存在する．多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である．本研究の目的は，深層ゼロ関数学習という新たな問題に取り組み，訓練データ上で全く同じ振る舞いをする関数を自在に行き来する方法を実現することである．あるタスクで学習された関数が与えられた時，同じ訓練データでゼロ値をとるよう学習された深層ゼロ関数を加えても訓練データ上の振る舞いは変化しない．この性質を利用して，過学習改善による学習済モデルの改良や敵対的サンプルへの耐性向上向上など，様々なタスクへの貢献を目指す．
|
| Outline of Annual Research Achievements |
有限の数の訓練データから学習を行う場合，訓練データ上で全く同じ振る舞いをする関数は無数に存在する．これは特に現代の overparameterized な深層学習モデルで顕著であり，多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である．本年は，深層学習モデルの敵対的訓練における学習ダイナミクスに関する理論的な分析を行なった．敵対的訓練は，入力への摂動にロバストな深層学習モデルの訓練に用いられる．しかしその理論的な性質は深く理解されていない．本研究では，十分幅の広い深層ニューラルネットワークの学習初期の学習ダイナミクスに関して，理論的な結果を得た．解析にあたり，従来の理論的枠組みが直接適用できないため，まず新たな理論的枠組みを作り，それを用いて分析した．その結果，どのようなモデルアーキテクチャやハイパーパラメータ設定でどの程度の学習ができるのかという点について理論的な評価を与えてた．具体的には，通常の多層ニューラルネットワークが敵対的学習では不安定となることを示し，残差接続を導入することで安定ができることを示した．実験において，この理論的結果が実際の学習の挙動と非常によく一致することや，学習初期以降でもよく成立していることを確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
深層学習モデルの学習ダイナミクスの解析に関する方法論に習熟し，深層ゼロ関数学習の理論的性質を調査する足掛かりを得てた．
|
| Strategy for Future Research Activity |
深層ゼロ関数学習において問題となる正規化の問題に取り組む．勾配正規化等の単純なもののみならず，近年発展著しいTransformerによる計算を考えている．近年では，Transformerの記号回帰問題における有用性も報告されており，これがゼロ関数学習へ応用できると考えている．このようなTransformerを用いる場合，正規化の問題を回避できる可能性もある．ゼロ関数学習への複数のアプローチを検討していく．
|
Report
(1 results)
Research Products
(1 results)
