Development of Function Estimation Theory to Investigate the Principles of Deep Learning

2021 Fiscal Year Final Research Report

• Project/Area Number: 18K18114
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: The University of Tokyo (2020-2021); The Institute of Statistical Mathematics (2018-2019)
• Principal Investigator: Imaizumi Masaaki 東京大学, 大学院総合文化研究科, 准教授 (90814088)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 深層学習 / 関数推定 / ノンパラメトリック統計 / 汎化誤差

Outline of Final Research Achievements

The outline of this research plan is to construct a theory that can explain the principles of deep learning. Although deep learning has demonstrated high performance in practical applications, its principles are still largely unexplained, and a theory that can explain this performance is still under development.
In this research project, we have achieved the following results: (i) We proved that deep learning is superior when the true function generating the data has special properties such as singularity. (ii) Developed a theory showing that complex non-convex loss functions in deep learning can avoid overlearning. (iii) We showed that double-descent phenomenon under over-parameterization also occurs in deep learning models. (iv) Developed an algorithm to solve nonconvex optimization problems using the theoretical findings.

Free Research Field

統計学、機械学習

Academic Significance and Societal Importance of the Research Achievements

深層学習は、その高い性能から強い注目を集め、社会の各所で応用されている重要な技術である。今回のAIブームにおいて、深層学習によって実現する技術は数多い。
しかしながら、深層学習の原理は未だ十分に解明されていないのが現状である。その結果として、深層学習の欠点である膨大な計算コストや、ブラックボックスな挙動などの問題点は、未解決のまま残っている。これらの問題を根本から解決するには、基礎研究を通じて深層学習の原理を理解し、抜本的な解決手法を開発することが望まれる。
本研究はその試みの一端として、深層学習という新しい技術を数学的に記述することを試み、そして深層学習の成功の要因を明らかにする理論を構築した。