2019 Fiscal Year Research-status Report
慣性付２次近似勾配モデルを用いた大規模かつ強非線形データ学習アルゴリズムの高速化
| Project/Area Number |
17K00350
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / モーメント法 / ネステロフの加速勾配法 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，ＩｏＴ時代の到来とともにより大規模かつ複雑化(強非線形化)するデータのニューラルネットワークによる学習を，高精度かつ高速に可能とする新たなアルゴリズムの開発を目指す．この目的の実現のために，以下の３点を中心に研究する．
（１）準ニュートン法とモーメント法との融合による慣性付２次近似勾配モデルの提案，（２）提案モデルを用いたニューラルネットワークに対する学習アルゴリズムの高速化，（３）複雑な非線形特性を内包する大規模データのニューラルネットワークによる学習への応用
これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．さらに，提案アルゴリズムを実問題への応用に発展させる．これらの研究目的に基づき，平成２９年度は以下の課題に関して研究を行った．１つ目は，準ニュートン法とモーメント法の融合による慣性付２次近似勾配モデルの提案，及び，提案モデルを用いたＮＮに対する学習アルゴリズムの高速化手法の確立である．これに関してはおおむね完成した．２つ目は，提案手法の収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証である．これに関しては，基礎研究を始めた段階である．３つ目は，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良である．これに関しては，従来手法よりも高速であることを確認した．また，ミニバッチ手法に関しては，最適なミニバッチサイズに着目し，提案手法への導入に関する基礎研究を始めた．さらに，本研究課題における提案手法を，様々な準ニュートン法に基づく手法へ展開することを検討している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和元年度は，平成２９年度，及び，３０年度に提案してきた手法の収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証の基礎研究を行った．モーメント係数(ハイパーパラメータ)の適応的な決定方法や収束速度の解析的な導出などに関して研究が盛んである．従って，提案手法は，準ニュートン法とネステロフの加速勾配法の多くの知見を利用することで，ハイパーパラメータの決定方法やそれに基づく収束性や収束速度の解析について検討する．これについては，まずは従来のネステロフの加速勾配法に使用されているハイパーパラメータを用いた実験的な検証を行い，初期値に対する有効性に関して検証した．その結果，ニューラルネットワークの学習の初期値に対するロバスト性をパラメータを固定した場合に比べて飛躍的に改善できることを示した．さらに，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良を行った．これにより，ディープラーニングなどの，現在盛んに研究されているネットワークに対する学習を扱うことができるようになった．その結果，現在，一般的に使用されている学習アルゴリズムに対する有効性を示すことができた．
|
| Strategy for Future Research Activity |
令和２年度は，令和元年度のコロナ禍により，研究成果発表を予定していた国際会議の中止により，研究計画を延長した．この為，平成元年度に予定していた，研究成果発表を行う予定である．
|
| Causes of Carryover |
コロナ禍により，研究成果を発表予定であった国際会議が延期となったため．この為，令和２年度に研究成果を発表する予定である．
|
