2021 Fiscal Year Annual Research Report
Acceleration Technique of Learning Algorithm for Large-Scale, Strongly Nonlinear Data using Quadratic Approximate Gradient Models with Inertia Term
| Project/Area Number |
17K00350
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / モーメント法 / ネステロフの加速勾配法 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，ＩｏＴ時代の到来とともにより大規模かつ複雑化(強非線形化)するデータのニューラルネットワークによる学習を，高精度かつ高速に可能とする新たなアルゴリズムの開発を目指す．この目的の実現のために，以下の３点を中心に研究を行った．
（１）準ニュートン法とモーメント法との融合による慣性付２次近似勾配モデルの提案，（２）提案モデルを用いたニューラルネットワークに対する学習アルゴリズムの高速化，（３）複雑な非線形特性を内包する大規模データのニューラルネットワークによる学習への応用
これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．さらに，提案アルゴリズムを実問題への応用に発展させることで，その有効性を示すことを目的としている．これらの研究目的に基づき，以下の点に関して明らかにした．１つ目は，準ニュートン法とモーメント法の融合による慣性付２次近似勾配モデルの提案，及び，提案モデルを用いたニューラルネットワークに対する学習アルゴリズムの高速化手法の確立を行った．２つ目は，提案手法の収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証である．これに関しては，特に，モーメント係数の適応的手法を導入することに成功した．３つ目は，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良である．これらに関しては，従来手法よりも高速であることを確認した．また，最終年度においては，大規模ネットワークへの適応に関して，メモリーレス手法を組み合わせた新たなアルゴリズムの開発を行った．さらに，本研究課題における提案手法を，様々な準ニュートン法に基づく手法へ展開することを検討している．
|
