研究課題
本研究課題では，ＩｏＴ時代の到来とともにより大規模かつ複雑化(強非線形化)するデータのニューラルネットワークによる学習を，高精度かつ高速に可能とする新たなアルゴリズムの開発を目指す．この目的の実現のために，以下の３点を中心に研究する．（１）準ニュートン法とモーメント法との融合による慣性付２次近似勾配モデルの提案，（２）提案モデルを用いたニューラルネットワークに対する学習アルゴリズムの高速化，（３）複雑な非線形特性を内包する大規模データのニューラルネットワークによる学習への応用これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．さらに，提案アルゴリズムを実問題への応用に発展させる．これらの研究目的に基づき，平成２９年度は以下の課題に関して研究を行った．１つ目は，準ニュートン法とモーメント法の融合による慣性付２次近似勾配モデルの提案，及び，提案モデルを用いたＮＮに対する学習アルゴリズムの高速化手法の確立である．これに関してはおおむね完成した．２つ目は，提案手法の収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証である．これに関しては，基礎研究を始めた段階である．３つ目は，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良である．これに関しては，従来手法よりも高速であることを確認した．また，ミニバッチ手法に関しては，最適なミニバッチサイズに着目し，提案手法への導入に関する基礎研究を始めた．さらに，本研究課題における提案手法を，様々な準ニュートン法に基づく手法へ展開することを検討している．
2: おおむね順調に進展している
令和２年度は，これまでに提案してきた手法の収束性，及び，ハイパーパラメータの解析的な導出によるロバスト性の検証の基礎研究を行った結果を論文としてまとめた．モーメント係数(ハイパーパラメータ)の適応的な決定方法や収束速度の解析的な導出などに関して研究が盛んである．従って，提案手法は，準ニュートン法とネステロフの加速勾配法の多くの知見を利用することで，ハイパーパラメータの決定方法やそれに基づく収束性や収束速度の解析について検討する．これについては，まずは従来のネステロフの加速勾配法に使用されているハイパーパラメータを用いた実験的な検証を行い，初期値に対する有効性に関して検証した．その結果，ニューラルネットワークの学習の初期値に対するロバスト性をパラメータを固定した場合に比べて飛躍的に改善できることを示した．さらに，ミニバッチ法や記憶制限法を導入した大規模データ学習を考慮したアルゴリズムへの改良を行った．これにより，ディープラーニングなどの，現在盛んに研究されているネットワークに対する学習を扱うことができるようになった．その結果，現在，一般的に使用されている学習アルゴリズムに対する有効性を示すことができた．
令和３年度は，令和２年度のコロナ禍により，研究成果発表を予定していた国際会議の中止により，研究計画を延長した．この為，予定していた，研究成果発表を行う予定である．
コロナ禍により，研究成果を発表予定であった国際会議が延期となったため．この為，令和３年度に研究成果を発表する予定である．
すべて 2021 2020
すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 1件) 学会発表 (1件)
IEICE NOLTA
巻: vol.11, issue 4 ページ: 409-421
Proc. NOLTA 2020
巻: N/A ページ: 251-254
Proc. IARIA The Twelfth International Conference on Information, Process, and Knowledge Management, eKNOW 2020
巻: N/A ページ: 17-19
