2020 Fiscal Year Research-status Report
超高次元機械学習モデルの学習ダイナミクスの究明と効率的学習法の開発
| Project/Area Number |
19K20337
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
二反田 篤史 東京大学, 大学院情報理工学系研究科, 助教 (60838811)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 確率的最適化法 / ニューラルネットワーク / カーネル法 |
|---|
| Outline of Annual Research Achievements |
機械学習の学習ダイナミクスに関して以下の成果を得た．
(1) 近年の研究により高次元ニューラルネットワークに対する最適化法が何故大域収束し汎化性を持つのか部分的に説明されつつある．その理論的枠組みの一つに最適化に伴うニューラルネットワークの学習ダイナミクスを関数空間内で記述するNTKという概念がある．NTKを用いた既存研究においてニューラルネットワークの最適化法に対する大域収束性および汎化性が示されたが，さらに理論を改善する余地があった．本研究では二乗損失を用いた回帰問題において真の関数およびニューラルネットワークに適切な設定を課すことで既存の結果を上回るかつそれ以上改善不能な最適収束性を導出した．この理論を実際のニューラルネットワークの説明に適用するにはまだ拡張しなければならない点があるが，学習ダイナミクスの局所解析には非常に有効であると考えられる．
(2) ラベルの強低ノイズ条件下での識別誤差の線形収束性に関する成果を拡張した．以前の結果では真に無限次元のモデルである再生核ヒルベルト空間を仮説空間として解析していたが，ランダム特徴を用いた近似空間でも同様の理論が成り立つことを示した．ランダム特徴は計算効率の観点での有用性が知られていたが，本設定でよその有用性がより際立つことも示した．またカーネル法との関連性を通じて深層学習の学習ダイナミクスの理解にも繋がると予想している．
(3) 認識問題等で高い性能を発揮するResNetに対して大域的収束保証付きの学習法を提案した．ResNetは他の深層学習モデルと同様にその学習が非凸最適化に帰着されることによる最適化の困難性が知られている．本研究は学習途中の層の追加によりこの困難性を一部回避可能であることを示すものである．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究では機械学習に対する最適化手法の学習ダイナミクスの理解を目指し，次の研究項目を設定していた．（研究１）低ノイズ条件下超高次元二層ニューラルネットワークの解析，（研究２）ResNetの関数勾配・最適輸送理論的解析，（研究３）ミニバッチ確率的勾配降下法の理論限界の究明と改良．
本年度の研究成果は主に（研究１）と（研究２）に関するものであるが当初想定していた成果が概ね実現できたといえる．さらに研究実績で報告したNTK理論に関する成果(1)は主要国際会議であるICLRにおいてOutstanding paper awardを受賞したことからもその貢献が認められている．
|
| Strategy for Future Research Activity |
当初の計画は概ね達成されたといえるが，高次元ニューラルネットワークの理解を更に深めるためにこれまでの成果を更に洗練させる．本年度のNTK理論によりニューラルネットワークの性質が一部明らかになったが，その実態を説明するには不十分な点がある．それはNTK理論が本質的に局所理論であることに起因するが，この点に関して別のアプローチである平均場ニューラルネットワーク理論が有用であると考えられている．そこで今後はこの両理論の統合を目指す．またResNetの学習法をより実際的なものへと改良することも計画している．
|
| Causes of Carryover |
当初の予算使用計画では予算を国際会議や国内会議の出張費に多く振り分けていたが，それらがCOVID-19に伴う状況の変化ですべてオンライン開催となった．その分の旅費・宿泊費等を次年度に振り分ける．
今年度も同じような状況が続くと思われますがコンピュータや研究に関する備品の購入費に割りあて，研究環境をより充実させる計画である．
|
Research Products
(10 results)
