2022 Fiscal Year Research-status Report
モーメント準ニュートン法と確率的分散縮小法の融合による強非線形ビックデータの学習
| Project/Area Number |
20K11979
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / モーメント法 / 不動点加速法 / ネステロフの加速勾配法 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，AIとIoT技術がもたらす新たな時代の到来とともに予想される，より複雑（強非線形）かつ膨大なデータ（ビッグデータ）の処理を可能とするニューラルネットワークのこれまでにない新たな学習法の開発を目指す．この為，以下の３点を中心に研究する．
・強非線形データに対応するモーメント準ニュートン法の高速化及び収束性能の解析
・強非線形ビックデータの学習を高精度かつ高速に可能とするアルゴリズムの開発と解析
・提案手法の実問題への応用に関する研究
これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．また，その収束性能の解析を通して，高速化に対するメカニズムを明らかにし，その有効性を示すことを目的としている．この目的のため，モーメント準ニュートン法と不動点加速法の融合によるニューラルネットワークに対する学習アルゴリズムの高速化及び安定化手法の確立とその解析を目指した．申請者はこれまでに，ネステロフの加速準ニュートン法（NAQ），および，その問題点（１反復に２度の勾配計算が必要な点）を克服したモーメント準ニュートン法（MoQ）を提案してきた．これらは，準ニュートン法（QN）と比較して，学習時間を，NAQは2/3～1/3に，MoQは1/4～1/9へと大幅に削減することに成功した．一方で，これらのアルゴリズムには，モーメント係数や学習係数（ハイパーパラメータ）の値によって収束が不安定になってしまう問題があり，その適応的決定法に対するロバスト性に関する考察を行ってきた．さらに，提案手法の実問題への応用として，画像認識や生成AIなどへの応用を念頭に，その基礎研究を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和４年度は，本研究課題のもととなる，モーメント準ニュートン法(MoQ)に関しての収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証の基礎研究を令和３年度に引き続き行った．また，令和３年度から開始した，確率的分散縮小法の導入によるビックデータの複雑化（強非線形化）を考慮した学習アルゴリズムに対する収束性の検証を実験的に行うと同時に，解析的な検証を行うための基礎研究に着手した．具体的には，これまでのQNやNAQに対する確率的処理の導入では，同じ例題に対しては，１次近似手法と比較して高速な収束性や局所解や鞍点等の問題解決能力を持つことは示されてきた．しかし，強非線形データに対する有効性や高精度な解は示されていない．この原因は強非線形データ特有の学習データのばらつきにある．特に， QNでは，勾配を用いて曲率情報を更新する必要があり，確率的勾配を用いることで曲率情報も学習データの複雑さに応じてばらつきが大きくなり，収束への影響はさらに強くなった．従って，反復毎の勾配の分散を縮小させる仕組みをアルゴリズムに導入することを考えた．この目的のため，近年，注目されている確率的分散縮小勾配法（SVRG）に着目し，MoQと融合させるアルゴリズムを提案し，この収束性の解析の基礎研究を行った．また，提案手法は，全学習データを用いるバッチ学習の強非線形データに対する強みを保ちつつ，反復のほとんどは確率的処理を用いるため，分散を縮小しつつも実用的で効率的な学習アルゴリズムとなった．このアルゴリズムの有効性を示すためには，強非線形学習データを持つ様々な実問題への応用を検討する必要がある．この為，近年，ニューラルネットワークの応用として注目を集めている画像認識や生成AIにおいて，新たな実問題を定義しその問題への有効性を示すための基礎研究に着手した．
|
| Strategy for Future Research Activity |
令和５年度においては，提案アルゴリズムの有効性を検証しつつ，強非線形・大規模データを持つ実問題への提案手法に対する有効性の検証を行う予定である．具体的には，実問題としてまず挙げられる点が，アナログ高周波回路設計の自動化に関する基礎研究を想定し，その実問題に対する提案手法の有効性に関する検証である．申請者はこれまで，強非線形データを用いた応用例として，高周波回路設計のためのNNによるモデリングを行ってきた．これは，物理データと回路パラメータを入力とし，周波数応答を出力とする非常に複雑な問題であり，申請者が提案するNAQやMoQでなければ学習できなかった．この経験をもとに，より大規模なアナログ回路設計における提案手法の有効性を示す．さらには，近年のニューラルネットワークの応用として，画像認識や生成AIへの応用が世界的に注目を集めている．そこで，本研究課題では，これらの問題に対して，より非線形性の強い応用を検討し，提案手法の有効性を示すことを考えている．前述のアナログ回路設計への応用として，回路モデリングデータと熟練者の知識を融合した強非線形ビックデータの学習への応用に対する有効性と，近年注目を集めている画像認識や生成AIへの有効性を示すことで，提案手法を世界的にインパクトのある研究に発展させることが可能であると確信している．
|
| Causes of Carryover |
令和４年度はアルゴリズムの構築と検証とともに，それらを研究発表にまとめる活動が中心であった．この為，計算機設備に関しては執筆や発表準備のための最低限の導入で研究は実施可能であった．一方，コロナ禍の影響により，国際学会での発表がオンラインへと変更になり，旅費の支出が無かった．次年度以降において，本研究課題の成果を広く知らしめるために，国際会議での対面での発表を積極的に行う予定である．
|
