2023 Fiscal Year Annual Research Report
モーメント準ニュートン法と確率的分散縮小法の融合による強非線形ビックデータの学習
| Project/Area Number |
20K11979
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 情報学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / モーメント法 / 不動点加速法 / ネステロフの加速勾配法 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，AIとIoT技術がもたらす新たな時代の到来とともに予想される，より複雑（強非線形）かつ膨大なデータ（ビッグデータ）の処理を可能とするニューラルネットワークのこれまでにない新たな学習法の開発を目指す．この為，以下の３点を中心に研究する．
・強非線形データに対応するモーメント準ニュートン法の高速化及び収束性能の解析
・強非線形ビックデータの学習を高精度かつ高速に可能とするアルゴリズムの開発と解析
・提案手法の実問題への応用に関する研究
これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．また，その収束性能の解析を通して，高速化に対するメカニズムを明らかにし，その有効性を示すことを目的としている．この目的のため，モーメント準ニュートン法と不動点加速法の融合によるニューラルネットワークに対する学習アルゴリズムの高速化及び安定化手法の確立とその解析を目指した．申請者はこれまでに，ネステロフの加速準ニュートン法（NAQ），および，その問題点（１反復に２度の勾配計算が必要な点）を克服したモーメント準ニュートン法（MoQ）を提案してきた．これらは，標準的な準ニュートン法（QN）と比較して，学習時間を，NAQは2/3～1/3に，MoQは1/4～1/9へと大幅に削減することに成功した．一方で，これらのアルゴリズムには，モーメント係数（ハイパーパラメータ）の値によって収束が不安定になってしまう問題があった．本研究課題では，この問題を解決するために，モーメント係数の適応的決定法を応用した手法についての基礎研究を行った．また，もう１つの重要なハイパーパラメータである，学習係数に関する考察も行った．さらには，提案アルゴリズムの応用として，画像処理や生成AIへの適用に関して，その適用可能性に関する基礎研究を行った．
|
