Study on deep neural nets with group theory

2023 Fiscal Year Final Research Report

• Project/Area Number: 20K03743
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 12040:Applied mathematics and statistics-related
• Research Institution: Kyoto University (2023); Institute of Physical and Chemical Research (2020-2022)
• Principal Investigator: Sannai Akiyoshi 京都大学, 理学研究科, 特定准教授 (10610595)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 深層学習 / 対称性 / 幾何学的深層学習 / グラフ理論 / 不変式論

Outline of Final Research Achievements

This research generalized and refined the theory of symmetric deep neural networks of Zaheer et al. from the viewpoints of group theory, representation theory, and invariant formula theory. Specifically, we considered the second-order tensor action of natural representations of Sn and achieved a generalization of functions with graphs as input. By using Reynolds operators, we found that it is possible to transform ordinary neural networks into a symmetric form and also to reduce the number of input variables. The results are expected to be used in the development of computationally efficient algorithms and in many application areas such as social network analysis. The research results have been published in JMLR.

Free Research Field

深層学習、大規模言語モデル

Academic Significance and Societal Importance of the Research Achievements

本研究は、Zaheerらの対称性を持つ深層ニューラルネットワーク理論を群論、表現論、不変式論の視点から一般化し、精密化しました。学術的意義として、理論の拡張と深化、不変式論の応用、レイノルズ作用素の利用が挙げられます。これにより、深層学習モデルの設計に新たな視点が提供されました。社会的意義として、高効率なアルゴリズムの開発、グラフデータを扱う多分野での利用、技術の普及と教育の促進が期待されます。特に、ソーシャルネットワーク解析や交通ネットワーク解析などの応用分野での利用が進むことで、様々な社会課題の解決に寄与する可能性があります。