| 研究課題/領域番号 |
19K20337
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 九州工業大学 (2021)
東京大学 (2019-2020) |
|---|
研究代表者 |
二反田 篤史 九州工業大学, 大学院情報工学研究院, 准教授 (60838811)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2021年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2020年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2019年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
|
|---|
| キーワード | 機械学習 / 深層学習 / ニューラルネットワーク / 確率的勾配降下法 / ランジュバンダイナミクス / 確率的最適化法 / 平均場理論 / カーネル法 / 加速分散縮小法 / 超高次元ニューラルネット / 非凸最適化 / 確率的最適化 |
|---|
| 研究開始時の研究の概要 |
深層ニューラルネットは超高次元非凸モデルであるが，種々の学習テクニックを精密に適用する事で学習が可能となり，優れたパフォーマンスを発揮する事が経験的に示されている．
しかしながら，この様な超高次元モデルが正則化無しに高い汎化性能を示す事の理論的解析は未だ発展途上である．また非常に複雑な非線形モデルであるため最適化が困難でありパラメータチューニングに多大なコストを要するという問題もある．
本研究では，超高次元モデルの学習ダイナミクスそのものが汎化性の優れたパラメータを優先的に選択する機能を備えているという考えに基き超高次元モデルの成功を裏付ける為の理論構築及び効率的学習法の開発に取り組む．
|
| 研究成果の概要 |
深層学習に代表される高次元機械学習モデルが機能する要因の究明および効率的学習法の開発を目指し，学習ダイナミクスの研究を推進した．特に代表的学習法である（確率的）勾配降下法に対し次の成果を得た．
(1)線形モデルを用いた判別問題に対し判別誤差が低ノイズ条件下で指数収束することを証明．(2)確率的勾配降下法で学習された二層ニューラルネットワークの汎化性が最適効率を達成することをNTK理論を精緻化し証明．(3)輸送写像の関数勾配法理論に基づくニューラルネットワークの解析方法を考案し，新たな学習法を提案．(4)平均場ニューラルネットワークの最適化ダイナミクスの考案と収束性を証明．
|
| 研究成果の学術的意義や社会的意義 |
深層学習の原理解明に向けた二種の最適化理論：NTK理論および平均場ニューラルネットワーク理論の進展に寄与した．具体的にはNTK理論を精緻化しニューラルネットワークを理論上最適な効率で学習可能であることを初めて証明し，またデータへの適応性に優れた平均場ニューラルネットワークの最適化ダイナミクスを解析する新たな研究の流れを創出した．
これらの成果は深層学習の最適化ダイナミクスの基礎を与えるもので，深層学習の効率化への重要なステップである．
|
