| Project/Area Number |
18K18114
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo (2020-2021)
The Institute of Statistical Mathematics (2018-2019) |
|---|
Principal Investigator |
Imaizumi Masaaki 東京大学, 大学院総合文化研究科, 准教授 (90814088)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Project Status |
Discontinued (Fiscal Year 2021)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2019: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2018: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | 深層学習 / 関数推定 / ノンパラメトリック統計 / 汎化誤差 / ノンパラメトリック統計学 / 学習理論 / ミニマックス最適性 / 機械学習 |
|---|
| Outline of Final Research Achievements |
The outline of this research plan is to construct a theory that can explain the principles of deep learning. Although deep learning has demonstrated high performance in practical applications, its principles are still largely unexplained, and a theory that can explain this performance is still under development.
In this research project, we have achieved the following results: (i) We proved that deep learning is superior when the true function generating the data has special properties such as singularity. (ii) Developed a theory showing that complex non-convex loss functions in deep learning can avoid overlearning. (iii) We showed that double-descent phenomenon under over-parameterization also occurs in deep learning models. (iv) Developed an algorithm to solve nonconvex optimization problems using the theoretical findings.
|
| Academic Significance and Societal Importance of the Research Achievements |
深層学習は、その高い性能から強い注目を集め、社会の各所で応用されている重要な技術である。今回のAIブームにおいて、深層学習によって実現する技術は数多い。
しかしながら、深層学習の原理は未だ十分に解明されていないのが現状である。その結果として、深層学習の欠点である膨大な計算コストや、ブラックボックスな挙動などの問題点は、未解決のまま残っている。これらの問題を根本から解決するには、基礎研究を通じて深層学習の原理を理解し、抜本的な解決手法を開発することが望まれる。
本研究はその試みの一端として、深層学習という新しい技術を数学的に記述することを試み、そして深層学習の成功の要因を明らかにする理論を構築した。
|
