| 研究課題/領域番号 |
20K11979
|
|---|
| 研究機関 | 湘南工科大学 |
|---|
研究代表者 |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / モーメント法 / 不動点加速法 / ネステロフの加速勾配法 |
|---|
| 研究実績の概要 |
本研究課題では，AIとIoT技術がもたらす新たな時代の到来とともに予想される，より複雑（強非線形）かつ膨大なデータ（ビッグデータ）の処理を可能とするニューラルネットワークのこれまでにない新たな学習法の開発を目指す．この為，以下の３点を中心に研究する．
・強非線形データに対応するモーメント準ニュートン法の高速化及び収束性能の解析
・強非線形ビックデータの学習を高精度かつ高速に可能とするアルゴリズムの開発と解析
・提案手法の実問題への応用に関する研究
これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．また，その収束性能の解析を通して，高速化に対するメカニズムを明らかにし，その有効性を示すことを目的としている．この目的のため，モーメント準ニュートン法と不動点加速法の融合によるニューラルネットワークに対する学習アルゴリズムの高速化及び安定化手法の確立とその解析を目指した．申請者はこれまでに，ネステロフの加速準ニュートン法（NAQ），および，その問題点（１反復に２度の勾配計算が必要な点）を克服したモーメント準ニュートン法（MoQ）を提案してきた．これらは，QNと比較して，学習時間を，NAQは2/3～1/3に，MoQは1/4～1/9へと大幅に削減することに成功した．一方で，これらのアルゴリズムには，モーメント係数（ハイパーパラメータ）の値によって収束が不安定になってしまう問題があった．令和３年度では，前年度から引き続き，この問題を解決するために，モーメント係数の適応的決定法を応用した手法についての基礎研究を行った．また，もう１つの重要なハイパーパラメータである，学習係数に関する考察も行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
令和３年度は，本研究課題のもととなる，モーメント準ニュートン法(MoQ)に関しての収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証の基礎研究を令和２年度に引き続き行った．また，確率的分散縮小法の導入によるビックデータの複雑化（強非線形化）を考慮した学習アルゴリズムの開発に着手した．これまでのQNやNAQに対する確率的処理の導入では，同じ例題に対しては，１次近似手法と比較して高速な収束性や局所解や鞍点等の問題解決能力を持つことは示されてきた．しかし，強非線形データに対する有効性や高精度な解は示されていない．この原因は強非線形データ特有の学習データのばらつきにある．特に， QNでは，勾配を用いて曲率情報を更新する必要があり，確率的勾配を用いることで曲率情報も学習データの複雑さに応じてばらつきが大きくなり，収束への影響はさらに強くなった．従って，反復毎の勾配の分散を縮小させる仕組みをアルゴリズムに導入した．具体的には，近年，注目されている確率的分散縮小勾配法（SVRG）に着目し，MoQと融合させることを考えた．つまり，SVRGが２重ループ構造を用いている点に着目し，MoQの曲率情報の更新には外ループでバッチ処理の勾配を用い，内ループの反復では，確率的勾配を用い，その分散を縮小させながらデータを更新するハイブリッド手法に関して，基礎研究を開始した．これにより，全学習データを用いるバッチ学習の強非線形データに対する強みを保ちつつ，反復のほとんどは確率的処理を用いるため，分散を縮小しつつも実用的で効率的な学習が可能となることを確認した．また，アルゴリズムの開発において重要となる，モーメント係数や学習係数といったハイパーパラメータに関する考察も行っている．
|
| 今後の研究の推進方策 |
令和３年度においては，提案アルゴリズムの有効性を検証しつつ，強非線形・大規模データを持つ実問題への提案手法に対する有効性の検証を行う予定である．具体的には，実問題としては，アナログ高周波回路設計の自動化に関する基礎研究を想定し，その実問題に対する提案手法の有効性を検証する．申請者はこれまで，強非線形データを用いた応用例として，高周波回路設計のためのNNによるモデリングを行ってきた．これは，物理データと回路パラメータを入力とし，周波数応答を出力とする非常に複雑な問題であり，申請者が提案するNAQやMoQでなければ学習できなかった．また，アナログ回路設計は，現在のディジタル回路設計のような自動化は実現されていない．基本的には熟練者による設計がほとんどであり，これら熟練者の知識の蓄積が急務である．この研究に対するニューラルネットワークの応用に関しては，数例の小規模な研究がなされているのみである．これは，上記のモデリングに必要なデータが非常に複雑なうえに，これとは別次元の熟練者の膨大な回路パラメータに関する知識を学習データとして融合し，ニューラルネットワークの学習に用いる必要性がある為，従来の技術では学習ができなかったことに原因がある．従って，モデリングデータと熟練者の知識を融合した強非線形ビックデータの学習は世界的にも例がなく，本研究課題の遂行により，世界的にインパクトのある研究に発展させることが可能であると確信している．
|
| 次年度使用額が生じた理由 |
令和３年度はアルゴリズムの構築と検証とともに，それらを論文にまとめる執筆活動が中心であった．この為，計算機設備に関しては既存の施設で，研究は実施可能であった．次年度以降の研究において，大規模実問題を取り扱う上で必要となる施設を本研究費を用いて準備する予定である．また，コロナ禍の影響により，学会での発表がオンラインへと変更になり，旅費の支出が無かった．次年度以降において，本研究課題の成果を広く知らしめるために，国内および国際会議での対面での発表を積極的に行う予定である．
|
