研究課題
本研究課題では，ＩｏＴ時代の到来とともにより大規模かつ複雑化(強非線形化)するデータのニューラルネットワークによる学習を，高精度かつ高速に可能とする新たなアルゴリズムの開発を目指す．この目的の実現のために，以下の３点を中心に研究を行った．（１）準ニュートン法とモーメント法との融合による慣性付２次近似勾配モデルの提案，（２）提案モデルを用いたニューラルネットワークに対する学習アルゴリズムの高速化，（３）複雑な非線形特性を内包する大規模データのニューラルネットワークによる学習への応用これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．さらに，提案アルゴリズムを実問題への応用に発展させることで，その有効性を示すことを目的としている．これらの研究目的に基づき，以下の点に関して明らかにした．１つ目は，準ニュートン法とモーメント法の融合による慣性付２次近似勾配モデルの提案，及び，提案モデルを用いたニューラルネットワークに対する学習アルゴリズムの高速化手法の確立を行った．２つ目は，提案手法の収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証である．これに関しては，特に，モーメント係数の適応的手法を導入することに成功した．３つ目は，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良である．これらに関しては，従来手法よりも高速であることを確認した．また，最終年度においては，大規模ネットワークへの適応に関して，メモリーレス手法を組み合わせた新たなアルゴリズムの開発を行った．さらに，本研究課題における提案手法を，様々な準ニュートン法に基づく手法へ展開することを検討している．
すべて 2022 2021
すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (3件)
Nonlinear Theory and Its Applications, IEICE
巻: 13 ページ: 271～276
10.1587/nolta.13.271
Algorithms
巻: 15 ページ: 6～6
10.3390/a15010006
巻: 12 ページ: 554～574
10.1587/nolta.12.554
