Resolution of singularities in neural networks

2022 Fiscal Year Final Research Report

• Project/Area Number: 16K00347
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Soft computing
• Research Institution: Rikkyo University (2021-2022); National Institute of Advanced Industrial Science and Technology (2016-2020)
• Principal Investigator: NITTA Tohru 立教大学, 人工知能科学研究科, 特任教授 (20357726)
• Project Period (FY): 2016-04-01 – 2023-03-31
• Keywords: ニューラルネットワーク / 特異点 / 深層学習 / ディープラーニング / 危点 / 学習

Outline of Final Research Achievements

We have revealed some of the characteristics of singularities in neural networks. In other words, we mathematically clarified that deep neural networks have a number of "hierarchical structure-based singularities" and derived the sufficient conditions for not having such singularities. In addition, we mathematically showed that some singularities in deep real-valued neural networks, which are equivalent to deep complex-valued neural networks, are naturally resolved due to their complex number-based nature. Furthermore, we derived the sufficient conditions for nonlinear deep neural networks not to have bad local minima with large learning errors which have a bad influence on learning performance.

Free Research Field

情報科学

Academic Significance and Societal Importance of the Research Achievements

深層学習技術では、大量のパラメータの調整が必要であるため、学習が行える適切な条件を特定するのに大変な労力がかかっている。ニューラルネットワークには、学習に悪い影響を与える多くの特異点が存在するからである。本研究では、ニューラルネットワークの特異点の特性を明らかにし、特異点を持たないための十分条件を導いた。また、特異点を持たないタイプのニューラルネットワークを提示した。これらの研究成果は深層ニューラルネットワークの学習性能向上に、引いては現在世界的に進められている深層学習を利用した社会実装に資するものと考えられる。