2018 Fiscal Year Research-status Report
慣性付２次近似勾配モデルを用いた大規模かつ強非線形データ学習アルゴリズムの高速化
| Project/Area Number |
17K00350
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / ネステロフの加速勾配法 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，ＩｏＴ時代の到来とともにより大規模かつ複雑化(強非線形化)するデータのニューラルネットワークによる学習を，高精度かつ高速に可能とする新たなアルゴリズムの開発を目指す．この目的の実現のために，以下の３点を中心に研究する．
（１）準ニュートン法とモーメント法との融合による慣性付２次近似勾配モデルの提案，（２）提案モデルを用いたニューラルネットワークに対する学習アルゴ
リズムの高速化，（３）複雑な非線形特性を内包する大規模データのニューラルネットワークによる学習への応用
これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．さらに，提案アルゴリズムを実問題への
応用に発展させる．これらの研究目的に基づき，平成２９年度は以下の課題に関して研究を行った．１つ目は，準ニュートン法とモーメント法の融合による慣性付２次近似勾配モデルの提案，及び，提案モデルを用いたＮＮに対する学習アルゴリズムの高速化手法の確立である．これに関してはおおむね完成した．２つ目は，提案手法の収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証である．これに関しては，基礎研究を始めた段階である．３つ目は，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良である．これに関しては，記憶制限手法に関しては，従来手法よりも高速であることを確認した．ミニバッチ手法に関しては，基礎研究を始めたところである．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成３０年度は，平成２９年度に提案した手法の収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証の基礎研究を行った．モーメント係数(ハイパーパラメータ)の適応的な決定方法や収束速度の解析的な導出などに関して研究が盛んである．従って，提案手法は，準ニュートン法とネステロフの加速勾配法の多くの知見を利用することで，ハイパーパラメータの決定方法やそれに基づく収束性や収束速度の解析について検討する．これについては，まずは従来のネステロフの加速勾配法に使用されているハイパーパラメータを用いた実験的な検証を行い，初期値に対する有効性に関して検証した．その結果，ある程度の規模のニューラルネットワークの学習の初期値に対するロバスト性を示すことができた．さらに，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良を行った．これにより，ディープラーニングなどの，現在盛んに研究されているネットワークに対する学習を扱うことができるようになった．その結果，現在，一般的に使用されている学習アルゴリズムに対する有効性を示すことができた．
|
| Strategy for Future Research Activity |
・確率的（記憶制限）ＮＡＱの収束特性の解析によるロバスト性の検証
確率的勾配法及び記憶制限準ニュートン法に関しては，これまで様々な検討がなされ，その収束性に関しても多数の研究がある．申請者もこれまで準ニュートン法の収束特性に関して検討してきた．また，平成３０年度にはネステロフの加速勾配法に基づくハイパーパラメータの導入に成功した．これにより，本件研究課題の本質となる，慣性項に関する理論的解析の方向性を検討することが可能になると予想される．これにより，複雑な非線形特性を内包する大規模データに対する提案アルゴリズムのロバスト性の確立を目指す．
・実問題の大規模データを用いた実験及び提案アルゴリズムの有効性の検証
最終年度において実問題への応用を取り上げ，提案手法の有効性の検証を行う．実問題としては，申請者がこれまで行ってきた，回路設計技術への応用を視野に入れた高周波回路や新たなデバイスを用いた回路最適化へのニューラルネットワークの応用を取り上げる．高周波回路の周波数応答は非常に複雑な非線形性を内包しており，ニューラルネットワークによるモデル化は従来のモデルをはるかにしのぐ柔軟で有効なモデルが実現できている．また，申請者が現在携わっている，新たな3次元トランジスタを用いた動的再構成可能な回路設計技術への応用を視野に入れた研究へと拡張する予定である．これらの実現は，本提案手法の1つの応用であり，その他の応用分野への適用の可能性も継続して探求する．
|
| Causes of Carryover |
平成３０年度はアルゴリズムの構築と検証とともに，次年度に向けた実問題への応用に関する検討のため，実験補助に対する謝金と研究ミーティングのための旅費主であった．計算機設備に関しては既存の施設で，研究は実施可能で可能であった．次年度以降の研究において，大規模実問題を取り扱う上で必要となる施設を本研究費を用いて準備する予定である．
|
