| 研究課題/領域番号 |
20K11979
|
|---|
| 研究機関 | 湘南工科大学 |
|---|
研究代表者 |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / モーメント法 / 不動点加速法 |
|---|
| 研究実績の概要 |
本研究課題では，AIとIoT技術がもたらす新たな時代の到来とともに予想される，より複雑（強非線形）かつ膨大なデータ（ビッグデータ）の処理を可能とするニューラルネットワークのこれまでにない新たな学習法の開発を目指す．この為，以下の３点を中心に研究する．
・強非線形データに対応するモーメント準ニュートン法の高速化及び収束性能の解析
・強非線形ビックデータの学習を高精度かつ高速に可能とするアルゴリズムの開発と解析
・提案手法の実問題への応用に関する研究
これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．また，その収束性能の解析を通して，高速化に対するメカニズムを明らかにし，その有効性を示すことを目的としている． この目的のため，令和２年度では，モーメント準ニュートン法と不動点加速法の融合によるＮＮに対する学習アルゴリズムの高速化及び安定化手法の確立とその解析を目指した．申請者はこれまでに，ネステロフの加速準湯ートン法（NAQ），および，そのの問題点（１反復に２度の勾配計算が必要な点）を克服したモーメント準ニュートン法（MoQ）を提案してきた．これらは，QNと比較して，学習時間を，NAQは2/3～1/3に，MoQは1/4～1/9へと大幅に削減することに成功した．一方で，これらのアルゴリズムには，モーメント係数（ハイパーパラメータ）の値によって収束が不安定になってしまう問題があった．令和２年度では，この問題を解決しつつ，さらなる高速化を目指した基礎研究を行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
令和２年度は，本研究課題のもととなる，モーメント準ニュートン法に関しての収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証の基礎研究を行った．また，その結果を論文としてまとめた．モーメント係数(ハイパーパラメータ)の適応的な決定方法や収束速度の解析的な導出などに関して研究が盛んである．従って，提案手法では，準ニュートン法とネステロフの加速勾配法の多くの知見を利用することで，ハイパーパラメータの決定方法やそれに基づく収束性や収束速度の解析について検討した．これについては，まずは従来のネステロフの加速勾配法に使用されているハイパーパラメータを用いた実験的な検証を行い，初期値に対する有効性に関して検証した．その結果，ニューラルネットワークの学習の初期値に対するロバスト性をパラメータを固定した場合に比べて飛躍的に改善できることを示した．さらに，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良の基礎研究を行った．これにより，ディープラーニングなどの，現在盛んに研究されているネットワークに対する学習を扱うことができるようになった．その結果，今後，一般的に使用されている学習アルゴリズムに対する有効性を示すことができると予想される．
|
| 今後の研究の推進方策 |
確率的分散縮小法の導入によるビックデータの複雑化（強非線形化）を考慮した学習アルゴリズムの開発とその解析
今後において，強非線形“ビック”データに対応したアルゴリズムへと発展させる．具体的には提案手法に確率的処理を導入する．これまでのQNやNAQに対する確率的処理の導入では，同じ例題に対しては，１次近似手法と比較して高速な収束性や局所解や鞍点等の問題解決能力を持つことは示されてきた．しかし，強非線形データに対する有効性や高精度な解は申請者の実験においても示されていない．この原因は強非線形データ特有の学習データのばらつきにあると考えられる．また， QNでは，勾配を用いて曲率情報（近似ヘッセ行列）を更新する必要があり，確率的勾配を用いることで曲率情報も学習データの複雑さに応じてばらつきが大きくなり，収束への影響はさらに強くなる．従って，反復毎の勾配の分散を縮小させる仕組みをアルゴリズムに導入する必要がある．本研究課題では，この仕組みを取り入れることが可能な手法として，近年，注目されている確率的分散縮小勾配法（SVRG）に着目し，MoQと融合させることを考える．具体的には，SVRGが２重ループ構造を用いている点に着目し，MoQの曲率情報の更新には外ループでバッチ処理の勾配を用い，内ループの反復では，確率的勾配を用い，その分散を縮小させながらデータを更新するハイブリッド手法を考える．これは，全学習データを用いるバッチ学習の強非線形データに対する強みを保ちつつ，反復のほとんどは確率的処理を用いるため，分散を縮小しつつも実用的で効率的な学習が可能となる．これにより，強非線形性による確率的勾配の分散を縮小しつつ，QNの高精度・高速な解を得る能力を最大限に用いることで，強非線形ビックデータの学習を可能にする新たな学習アルゴリズムとして確立し，同時にその収束性の解析を行う．
|
| 次年度使用額が生じた理由 |
令和２年度はアルゴリズムの構築と検証とともに，それらを論文にまとめる執筆活動が中心であった．この為，計算機設備に関しては既存の施設で，研究は実施可能で可能であった．次年度以降の研究において，大規模実問題を取り扱う上で必要となる施設を本研究費を用いて準備する予定である．
|
