2017 Fiscal Year Research-status Report
慣性付２次近似勾配モデルを用いた大規模かつ強非線形データ学習アルゴリズムの高速化
| Project/Area Number |
17K00350
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / ネステロフの加速勾配法 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，ＩｏＴ時代の到来とともにより大規模かつ複雑化(強非線形化)するデータのニューラルネットワークによる学習を，高精度かつ高速に可能とする新たなアルゴリズムの開発を目指す．この目的の実現のために，以下の３点を中心に研究する．
（１）準ニュートン法とモーメント法との融合による慣性付２次近似勾配モデルの提案，（２）提案モデルを用いたニューラルネットワークに対する学習アルゴリズムの高速化，（３）複雑な非線形特性を内包する大規模データのニューラルネットワークによる学習への応用
これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．さらに，提案アルゴリズムを実問題への応用に発展させる．これらの研究目的に基づき，平成２９年度は以下の課題に関して研究を行った．
１つ目は，準ニュートン法とモーメント法の融合による慣性付２次近似勾配モデルの提案，及び，提案モデルを用いたＮＮに対する学習アルゴリズムの高速化手法の確立である．これに関してはおおむね完成した．２つ目は，提案手法の収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証である．これに関しては，基礎研究を始めた段階である．３つ目は，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良である．これに関しては，記憶制限手法に関しては，従来手法よりも高速であることを確認した．ミニバッチ手法に関しては，基礎研究を始めたところである．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２９年度は新たな学習アルゴリズムの確立を行い，その解析に関して基礎研究に着手した．具体的には，準ニュートン法とモーメント法の融合による慣性付２次近似勾配モデルの提案，及び，提案モデルを用いた学習アルゴリズムの高速化手法の確立を目指した．モーメント法は最急降下法の学習反復において慣性項を導入することで解探索を加速させる手法である．一方で，準ニュートン法に対する慣性項の導入に関しては，申請者の知る限り存在しない．そこで，本研究課題では準ニュートン法に慣性項を導入することで，モーメント法との融合はかり，準ニュートン法の解探索を加速させた．ニューラルネットワークの学習における誤差関数の２次近似を導出する段階から慣性項を用いて，慣性付２次近似勾配モデルを導出した．このモデルから慣性項を導入したニュートン反復を導出し，さらには，その反復式からセカント条件を導き，ヘッセ行列の近似行列及びその更新式を導出した．アルゴリズムの基礎原理は，“ネステロフの加速勾配準ニュートン法(Nesterov's quasi-Newton Method, ＮＡＱ)”として提案しており，その有効性をいくつかの強非線形な特性を持つベンチマーク問題(関数近似及び高周波回路モデル)に対して示した．
さらには，ＮＡＱは準ニュートン法と同様にバッチ処理，つまり，1回の反復ですべての学習サンプルを用いるアルゴリズムである．一方で，大規模データを扱う場合，バッチ処理よりもミニバッチ処理，つまり，学習サンプルの一部をランダムに用いる，確率的(Stochastic)勾配法が効果的であることが示されている．そこで，提案手法を大規模問題に応用するための方策に関して，ミニバッチ処理や記憶制限準ニュートン法への応用に関して研究を行った．記憶制限手法に関しては，従来手法よりも高速であることを示した．
|
| Strategy for Future Research Activity |
今後は以下の課題について解決を目指す．
・確率的記憶制限ＮＡＱの収束特性の解析によるロバスト性の検証
確率的勾配法及び記憶制限準ニュートン法に関しては，これまで様々な検討がなされ，その収束性に関しても多数の研究がある．申請者もこれまで準ニュートン法の収束特性に関して検討してきた．これらの知見を活用して，本研究課題では，２９年度に実施したＮＡＱの収束特性の検討を拡張し，確率的記憶制限ＮＡＱに対する収束性に関して解析する．これにより，複雑な非線形特性を内包する大規模データに対する学習アルゴリズムのロバスト性の確立を目指す．
・実問題の大規模データを用いた実験及び提案アルゴリズムの有効性の検証
最終年度において実問題への応用を取り上げ，提案手法の有効性の検証を行う．実問題としては，申請者がこれまで行ってきた，回路設計技術への応用を視野に入れた高周波回路や新たなデバイスを用いた回路最適化へのニューラルネットワークの応用を取り上げる．高周波回路の周波数応答は非常に複雑な非線形性を内包しており，ニューラルネットワークによるモデル化は従来のモデルをはるかにしのぐ柔軟で有効なモデルが実現できている．また，申請者が現在携わっている，新たな3次元トランジスタを用いた動的再構成可能な回路設計技術への応用を視野に入れた研究へと拡張する予定である．これらの実現は，本提案手法の1つの応用であり，その他の応用分野への適用の可能性も継続して探求する．
|
| Causes of Carryover |
平成２９年度はアルゴリズムの構築と検証が主であり，計算機設備に関しては既存の施設で，研究は実施可能で可能であった．このため，当該年度は研究成果発表と，実験補助が主たる研究費使用目的であった．次年度以降の研究において，大規模実問題を取り扱う上で必要となる施設を本研究費を用いて準備する予定である．
|
