2021 Fiscal Year Annual Research Report
Intensifying deep learning theory and its application to structure analysis of deep neural network
| Project/Area Number |
18H03201
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
鈴木 大慈 東京大学, 大学院情報理工学系研究科, 准教授 (60551372)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 深層学習 / 機械学習 / 確率的最適化 / カーネル法 / 汎化誤差解析 |
|---|
| Outline of Annual Research Achievements |
今年度は，深層学習の原理に関して統計理論と最適化の観点から以下のような研究を進めた．
(1) 高次元および無限次元入力深層ニューラルネットワークの統計理論：現実のニューラルネットワークは画像や音声などの高次元・無限次元入力を扱う．そのような状況でも汎化する機構を明らかにするために，真の関数が方向に依存した滑らかさを持つことを仮定し，その仮定の下で深層学習が次元の呪いを回避できることを示した．
(2) 平均場設定でのニューラルネットワークの最適化法：横幅の広いニューラルネットワークのいわゆる平均場設定において，理論保証有りで大域的最適解に収束する新しい手法を提案した．手法のオリジナルな発想として双対平均加法に基づく手法から始め，それを発展する形で双対確率的座標降下法に基づく方法を提案した．この手法は指数オーダーでの収束を達成するものである．
(3) 最適化を含めた良性過学習の解析：ニューラルネットワークはデータに完全にフィットしても依然として良い予測性能を示す良性過学習と言われる現象を引き起こす．この良性過学習による予測誤差を複数の最適化法の間で比較し，いかなる状況でどの最適化法が有利であるかを特徴づけた．
(4) ネットワークの学習ダイナミクスとスパース性：真が横幅の狭い二層ニューラルネットワークであるなら，適切な正則化のもと勾配法を用いたニューラルネットワークの最適化はスパース性の効果が働いて真のニューラルネットワークのパラメータに収束してゆくことを示した．
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] Differentiable Multiple Shooting Layers2021
Author(s)
Stefano Massaroli, Michael Poli, Sho Sonoda, Taiji Suzuki, Jinkyoo Park, Atsushi Yamashita, Hajime Asama
-
Journal Title
Advances in Neural Information Processing Systems
Volume: 34
Pages: －
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
