2020 Fiscal Year Annual Research Report
| Project/Area Number |
18K18114
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
今泉 允聡 東京大学, 大学院総合文化研究科, 准教授 (90814088)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 深層学習 / 関数推定 / ノンパラメトリック統計 / 汎化誤差 |
|---|
| Outline of Annual Research Achievements |
当該研究計画の概要は、深層学習の原理を説明することができる理論の構築である。深層学習は実用上で高い性能を発揮しているが、その原理は未解明の点が多く、この性能を説明できる理論は未だ発展途上である。本研究は、深層学習が未知の関数を推定する手法であるとみなした上で、深層学習の性能を記述できる理論の構築を行った。当該研究課題では、以下のような成果を得た。
1. データ生成関数の性質による深層学習の原理の記述：深層ニューラルネットワークで回帰の問題を解くときに、データを生成する真の関数がある性質を持つ場合は、深層学習の優位性が示されることを証明した。具体的には、真の関数が超曲面上の特異性を持つ場合や、入力データ生成分布が低くかつ特殊な固有次元を持つ場合に、深層学習が従来法よりも良い性質を持つことを証明した。これは理論的な性能の差別化の嚆矢となる研究で、いくつかの後継研究が生まれた。
2. 損失関数の形状による暗黙的正則化理論の開発：深層学習の複雑な非凸損失関数が、過学習を回避できることを示す理論を開発した。具体的には、母極小値という概念を開発し、そのもとでの汎化誤差の評価を行なった。近年批判されている深層学習アルゴリズムの暗黙的正則化仮説に対して、その批判に答えられる理論である。
3. 漸近リスクによる深層学習の性能評価：深層学習のパラメタ・標本極限の漸近リスクを導出し、深層学習モデルでも過剰パラメータ下での二重降下現象が起こることを示した。これは、線形モデルにしか扱えなかった二重降下を深層学習に応用した初めての例となった。
4. 効率的学習アルゴリズムの開発：深層学習の理論的な知見を用い、効率的に非凸最適化問題を解くアルゴリズムを開発した。具体的には、多層ニューラルネットワークの関数近似理論で作られたパラメータの実現値をアルゴリズム上で再現することで、効率的な解の発見を実現した。
|
