Geometric Mechanics of Neural Networks
| Project/Area Number |
19K03635
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 12040:Applied mathematics and statistics-related
|
|---|
| Research Institution | Chubu University (2021-2022)
The Institute of Statistical Mathematics (2019-2020) |
|---|
Principal Investigator |
Goto Shin-itiro 中部大学, AI数理データサイエンスセンター, 准教授 (60749282)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 幾何学的力学系理論 / ニューラルネット / 微分幾何学 / 力学系理論 / 統計力学 / 最適化問題 / 接触幾何学 / シンプレクティック幾何学 / ニューラルネットワーク / マスター方程式 / 凸最適化理論 / 情報幾何学 / 離散幾何学 / ヘッセ幾何学 |
|---|
| Outline of Research at the Start |
人間の脳内の神経回路モデルはもとより、近年実社会でも特に需要が高まっている機械学習分野でも用いられているニューラルネットワークの単純化したモデル群を本研究で主に扱う。機械学習の中でも特に、ある種のニューラルネットワークモデルがなぜ効率的に学習できるかを解明するための一助となる理論を微分幾何学を用いて構築する。具体的には、ニューラルネットワークモデルでの活性化関数と呼ばれる非線形関数が凸関数と結びつく場合に対し、ヘッセ幾何学、情報幾何学や接触幾何学と呼ばれる微分幾何学を用いたモデル群の記述と、曲率やラプラシアン等の幾何学量が如何に学習理論や力学系と結びつくかを検討する。
|
| Outline of Final Research Achievements |
In this research project, dynamical systems and thermodynamic systems related to Neural networks have been studied. Although neural network models were scheduled to be focused in the original plan, more basic and fundamental models have been focused in this research project. Additionally, some thermodynamic systems have been studied. It is shown that various dynamical and thermodynamic models were shown to be described in the languages of contact, information, and discrete geometries. In addition, the properties of this description and applications were shown.
|
| Academic Significance and Societal Importance of the Research Achievements |
力学系理論や熱統計力学は理工学の様々な分野で応用され、汎用性の高い方法論を提供してきた。特にニューラルネットワークなどの脳を模したモデルの解析は、人工知能分野の近年の発展にも寄与した。更なる関連基礎数理の発達が期待されている。また一方、シンプレクティック幾何学などの幾何学分野は、力学系理論の発展と共に発展してきた。本研究では力学系理論や熱統計力学と、これまであまり結びつきが強くなかった接触幾何学、情報幾何学、離散幾何学、アファイン幾何学を結びつけ、ニューラルネットワークより更に基本となるモデル群に対して（熱）力学系の緩和時間の幾何学的記述やその限界を具体的に示した。
|
Report
(5 results)
Research Products
(26 results)
