• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

モーメント準ニュートン法と確率的分散縮小法の融合による強非線形ビックデータの学習

Research Project

Project/Area Number 20K11979
Research InstitutionShonan Institute of Technology

Principal Investigator

二宮 洋  湘南工科大学, 工学部, 教授 (60308335)

Project Period (FY) 2020-04-01 – 2023-03-31
Keywordsニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / モーメント法 / 不動点加速法
Outline of Annual Research Achievements

本研究課題では,AIとIoT技術がもたらす新たな時代の到来とともに予想される,より複雑(強非線形)かつ膨大なデータ(ビッグデータ)の処理を可能とするニューラルネットワークのこれまでにない新たな学習法の開発を目指す.この為,以下の3点を中心に研究する.
・強非線形データに対応するモーメント準ニュートン法の高速化及び収束性能の解析
・強非線形ビックデータの学習を高精度かつ高速に可能とするアルゴリズムの開発と解析
・提案手法の実問題への応用に関する研究
これらの研究により,従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する.また,その収束性能の解析を通して,高速化に対するメカニズムを明らかにし,その有効性を示すことを目的としている. この目的のため,令和2年度では,モーメント準ニュートン法と不動点加速法の融合によるNNに対する学習アルゴリズムの高速化及び安定化手法の確立とその解析を目指した.申請者はこれまでに,ネステロフの加速準湯ートン法(NAQ),および,そのの問題点(1反復に2度の勾配計算が必要な点)を克服したモーメント準ニュートン法(MoQ)を提案してきた.これらは,QNと比較して,学習時間を,NAQは2/3~1/3に,MoQは1/4~1/9へと大幅に削減することに成功した.一方で,これらのアルゴリズムには,モーメント係数(ハイパーパラメータ)の値によって収束が不安定になってしまう問題があった.令和2年度では,この問題を解決しつつ,さらなる高速化を目指した基礎研究を行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

令和2年度は,本研究課題のもととなる,モーメント準ニュートン法に関しての収束性,及び,ハイパーパラメータの解析的な導出によるロバスト性の検証の基礎研究を行った.また,その結果を論文としてまとめた.モーメント係数(ハイパーパラメータ)の適応的な決定方法や収束速度の解析的な導出などに関して研究が盛んである.従って,提案手法では,準ニュートン法とネステロフの加速勾配法の多くの知見を利用することで,ハイパーパラメータの決定方法やそれに基づく収束性や収束速度の解析について検討した.これについては,まずは従来のネステロフの加速勾配法に使用されているハイパーパラメータを用いた実験的な検証を行い,初期値に対する有効性に関して検証した.その結果,ニューラルネットワークの学習の初期値に対するロバスト性をパラメータを固定した場合に比べて飛躍的に改善できることを示した.さらに,ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良の基礎研究を行った.これにより,ディープラーニングなどの,現在盛んに研究されているネットワークに対する学習を扱うことができるようになった.その結果,今後,一般的に使用されている学習アルゴリズムに対する有効性を示すことができると予想される.

Strategy for Future Research Activity

確率的分散縮小法の導入によるビックデータの複雑化(強非線形化)を考慮した学習アルゴリズムの開発とその解析
今後において,強非線形“ビック”データに対応したアルゴリズムへと発展させる.具体的には提案手法に確率的処理を導入する.これまでのQNやNAQに対する確率的処理の導入では,同じ例題に対しては,1次近似手法と比較して高速な収束性や局所解や鞍点等の問題解決能力を持つことは示されてきた.しかし,強非線形データに対する有効性や高精度な解は申請者の実験においても示されていない.この原因は強非線形データ特有の学習データのばらつきにあると考えられる.また, QNでは,勾配を用いて曲率情報(近似ヘッセ行列)を更新する必要があり,確率的勾配を用いることで曲率情報も学習データの複雑さに応じてばらつきが大きくなり,収束への影響はさらに強くなる.従って,反復毎の勾配の分散を縮小させる仕組みをアルゴリズムに導入する必要がある.本研究課題では,この仕組みを取り入れることが可能な手法として,近年,注目されている確率的分散縮小勾配法(SVRG)に着目し,MoQと融合させることを考える.具体的には,SVRGが2重ループ構造を用いている点に着目し,MoQの曲率情報の更新には外ループでバッチ処理の勾配を用い,内ループの反復では,確率的勾配を用い,その分散を縮小させながらデータを更新するハイブリッド手法を考える.これは,全学習データを用いるバッチ学習の強非線形データに対する強みを保ちつつ,反復のほとんどは確率的処理を用いるため,分散を縮小しつつも実用的で効率的な学習が可能となる.これにより,強非線形性による確率的勾配の分散を縮小しつつ,QNの高精度・高速な解を得る能力を最大限に用いることで,強非線形ビックデータの学習を可能にする新たな学習アルゴリズムとして確立し,同時にその収束性の解析を行う.

Causes of Carryover

令和2年度はアルゴリズムの構築と検証とともに,それらを論文にまとめる執筆活動が中心であった.この為,計算機設備に関しては既存の施設で,研究は実施可能で可能であった.次年度以降の研究において,大規模実問題を取り扱う上で必要となる施設を本研究費を用いて準備する予定である.

  • Research Products

    (3 results)

All 2021 2020

All Journal Article (2 results) Presentation (1 results)

  • [Journal Article] aSNAQ : An Adaptive Stochastic Nesterov’s Accelerated Quasi-Newton Method for Training RNNs2020

    • Author(s)
      Sendilkkumaar, Indrapriyadarsini, Mahboubi, Shahrzad and Ninomiya, Hiroshi, and Asai, Hideki
    • Journal Title

      IEICE NOLTA

      Volume: vol.11, issue 4 Pages: 409-421

  • [Journal Article] A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning2020

    • Author(s)
      Sendilkkumaar, Indrapriyadarsini, Mahboubi, Shahrzad and Ninomiya, Hiroshi, Takeshi Kamio and Asai, Hideki
    • Journal Title

      Proc. NOLTA 2020

      Volume: N/A Pages: 251-254

  • [Presentation] 慣性項付き記憶制限準ニュートン法を用いた深層強化学習のTensorflowへの実装2021

    • Author(s)
      田中和真, マハブービ・シャヘラザード, 二宮 洋
    • Organizer
      IEICE 総合大会

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi