研究課題
今年度は,深層学習の原理に関して統計理論と最適化の観点から以下のような研究を進めた.(1) 高次元および無限次元入力深層ニューラルネットワークの統計理論:現実のニューラルネットワークは画像や音声などの高次元・無限次元入力を扱う.そのような状況でも汎化する機構を明らかにするために,真の関数が方向に依存した滑らかさを持つことを仮定し,その仮定の下で深層学習が次元の呪いを回避できることを示した.(2) 平均場設定でのニューラルネットワークの最適化法:横幅の広いニューラルネットワークのいわゆる平均場設定において,理論保証有りで大域的最適解に収束する新しい手法を提案した.手法のオリジナルな発想として双対平均加法に基づく手法から始め,それを発展する形で双対確率的座標降下法に基づく方法を提案した.この手法は指数オーダーでの収束を達成するものである.(3) 最適化を含めた良性過学習の解析:ニューラルネットワークはデータに完全にフィットしても依然として良い予測性能を示す良性過学習と言われる現象を引き起こす.この良性過学習による予測誤差を複数の最適化法の間で比較し,いかなる状況でどの最適化法が有利であるかを特徴づけた.(4) ネットワークの学習ダイナミクスとスパース性:真が横幅の狭い二層ニューラルネットワークであるなら,適切な正則化のもと勾配法を用いたニューラルネットワークの最適化はスパース性の効果が働いて真のニューラルネットワークのパラメータに収束してゆくことを示した.
令和3年度が最終年度であるため、記入しない。
すべて 2022 2021 その他
すべて 国際共同研究 (1件) 雑誌論文 (20件) (うち国際共著 6件、 査読あり 20件、 オープンアクセス 20件) 学会発表 (15件) (うち国際学会 4件、 招待講演 6件)
IEEE Symposium Series on Computational Intelligence (SSCI 2021)
巻: - ページ: -
10.1109/SSCI50451.2021.9659893
ICLR2022
巻: 10 ページ: -
AISTATS2022, Proceedings of Machine Learning Research
巻: 151 ページ: 9741--9757
AISTATS2021, Proceedings of Machine Learning Research
巻: 130 ページ: 1981--1989
巻: 130 ページ: 1954--1962
ICLR2021
巻: 9 ページ: -
ICLR2020
Electronic Journal of Statistics
巻: 15 ページ: 1869--1908
10.1214/21-EJS1828
Knowledge and Information Systems
巻: 63 ページ: 2513~2539
10.1007/s10115-021-01593-1
巻: 15 ページ: 3137--3183
10.1214/21-EJS1853
Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence
巻: 13 ページ: 3249--3256
10.24963/ijcai.2021/447
ICML2021, Proceedings of Machine Learning Research
巻: 139 ページ: 7872--7881
巻: 139 ページ: 7916--7926
巻: 139 ページ: 152--162
Advances in Neural Information Processing Systems
巻: 34 ページ: -