| 研究課題/領域番号 |
22K17962
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61040:ソフトコンピューティング関連
|
|---|
| 研究機関 | 千葉大学 |
|---|
研究代表者 |
計良 宥志 千葉大学, 大学院工学研究院, 助教 (00887705)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2024年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2023年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
|
|---|
| キーワード | 深層学習 / 敵対的訓練 / 機械学習 / 消失関数 |
|---|
| 研究開始時の研究の概要 |
有限の数の訓練データから学習を行う場合，訓練データ上で全く同じ振る舞いをする関数は無数に存在する．多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である．本研究の目的は，深層ゼロ関数学習という新たな問題に取り組み，訓練データ上で全く同じ振る舞いをする関数を自在に行き来する方法を実現することである．あるタスクで学習された関数が与えられた時，同じ訓練データでゼロ値をとるよう学習された深層ゼロ関数を加えても訓練データ上の振る舞いは変化しない．この性質を利用して，過学習改善による学習済モデルの改良や敵対的サンプルへの耐性向上向上など，様々なタスクへの貢献を目指す．
|
| 研究実績の概要 |
有限の数の訓練データから学習を行う場合，訓練データ上で全く同じ振る舞いをする関数は無数に存在する．これは特に現代の overparameterized な深層学習モデルで顕著であり，多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である．本年は，深層学習モデルの敵対的訓練における学習ダイナミクスに関する理論的な分析を行なった．敵対的訓練は，入力への摂動にロバストな深層学習モデルの訓練に用いられる．しかしその理論的な性質は深く理解されていない．本研究では，十分幅の広い深層ニューラルネットワークの学習初期の学習ダイナミクスに関して，理論的な結果を得た．解析にあたり，従来の理論的枠組みが直接適用できないため，まず新たな理論的枠組みを作り，それを用いて分析した．その結果，どのようなモデルアーキテクチャやハイパーパラメータ設定でどの程度の学習ができるのかという点について理論的な評価を与えてた．具体的には，通常の多層ニューラルネットワークが敵対的学習では不安定となることを示し，残差接続を導入することで安定ができることを示した．実験において，この理論的結果が実際の学習の挙動と非常によく一致することや，学習初期以降でもよく成立していることを確認できた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
深層学習モデルの学習ダイナミクスの解析に関する方法論に習熟し，深層ゼロ関数学習の理論的性質を調査する足掛かりを得てた．
|
| 今後の研究の推進方策 |
深層ゼロ関数学習において問題となる正規化の問題に取り組む．勾配正規化等の単純なもののみならず，近年発展著しいTransformerによる計算を考えている．近年では，Transformerの記号回帰問題における有用性も報告されており，これがゼロ関数学習へ応用できると考えている．このようなTransformerを用いる場合，正規化の問題を回避できる可能性もある．ゼロ関数学習への複数のアプローチを検討していく．
|
