2023 Fiscal Year Final Research Report
Learning of Strongly Nonlinear Big Data by Momentum Quasi-Newton Method combined with Stochastic Variance Reduction
| Project/Area Number |
20K11979
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / モーメント法 / 不動点加速法 / ネステロフの加速勾配法 |
|---|
| Outline of Final Research Achievements |
In this research, we developed a new learning method for neural networks that enables processing of more complex (strongly non-linear) and massive data (big data). In this process, we examined the relationship with the momentum method, quasi-Newton method, Nesterov's accelerated gradient method, and fixed-point acceleration method, and verified the mechanisms of each algorithm for acceleration and discussed the convergence by integrating them. Furthermore, through computer simulations on various test problems and real problems, we were able to clarify their effectiveness and issues. Through this research, we gained insights into solving problems using neural networks for learning data with a complexity that was previously impossible to achieve.
|
| Free Research Field |
人工知能
|
| Academic Significance and Societal Importance of the Research Achievements |
IoTの発展により，あらゆる場面でデータが蓄積され，これまで全く無関係であると考えられてきたデータを同時に扱うことが必要な時代となった．従って，今後はデータ量が増大するだけではなく，より複雑な関係性を内包する大規模データの扱いが必要となってきた． 一方，大規模データの学習には，データの一部分を用いた勾配による確率的勾配法が必要であるが，強非線形データの学習では十分に高精度な解を得られないといった問題があった．本研究では，この両者の特徴を持つ強非線形ビックデータの学習に対する高精度かつ高速な手法の可能性を探り，従来よりも強力な学習アルゴリズムの開発に成功したことに学術的および社会的意義がある．
|
