2023 Fiscal Year Research-status Report
時空間２次ダイナミクスモデルによる強非線形ビックデータの高精度かつ高速な深層学習
| Project/Area Number |
23K11267
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 情報学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 勾配ダイナミクスモデル / 適応的モーメント法 / 慣性付２次近似勾配モデル |
|---|
| Outline of Annual Research Achievements |
AIやIoT技術がもたらす新たなデータドリブン時代の到来とともに予想される『収集されるデータの大規模・複雑化および対応するニューラルネットワークの高機能化』．この実現のカギを握る技術の１つがより高精度かつ高速な学習法の確立である．本研究課題では，
①慣性付２次近似勾配モデルを拡張した時空間２次ダイナミクスモデルの提案
②提案モデルを用いたニューラルネットワークの高精度・高速学習アルゴリズムの開発
③適応的学習率の導入によるダイミクスの安定化とその解析
に関する研究遂行により深層学習の新たなパラダイムを確立することを目指す．これにより，従来は実現不可能であった複雑さと規模のデータ処理能力を持つニューラルネットワークを実現するとともに，安定性および収束性解析を通してその学習メカニズムを明らかにする研究課題である．このうち，当該年度においては，①のダイナミクスモデルの提案を行った．このモデルは，モーメント法から導かれる時間に対する２次導関数とニュートン法から導かれる慣性付パラメータ空間での２次導関数（ヘッセ行列）を示し，モーメント法の高速化と曲率情報による高精度化の両者を含むモデルとなる．一方，このモデルはヘッセ行列を含み，これまでと同様の計算機リソース（計算量とメモリ）が必要となる．この問題を1変数を追加することで，ダイナミクスからヘッセ行列を削除する手法を用いて解決し，さらに，その式変形を工夫することで，ニューラルネットワークの学習において一般的に用いられる適応的モーメント法(Adam)におけるバイアス補正を導入することを可能にしたアルゴリズムを提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和５年度は，本研究課題のもととなる，慣性付２次近似勾配モデルを連続時間ダイナミクスモデルとしてとらえ，勾配法としての最適化アルゴリズムとしての有効性に関して議論し，シミュレーションにより示すことができた．この結果を研究会へ技術報告としてまとめた．現在，この結果を拡張して学術論文への投稿を検討している．一方で，確率的勾配法の考え方を，提案手法への適応性に関する基礎研究を行った．これにより，ディープラーニングなどの，現在盛んに研究されているネットワークに対する学習を扱うことができるようになった．その結果，今後，一般的に使用されている学習アルゴリズムに対する有効性を示すことができると予想される．
|
| Strategy for Future Research Activity |
提案するモデルは常微分方程式であり，（最適）解を得るためには数値積分が必要となる．これには，連続時間から離散時間への変換を伴い，必ず，誤差を生じる近似を行うことになる．従って，この変換には十分に洗練された手法を導入する必要がある．これまでの勾配法では，もっとも単純な数値積分法である前進オイラー法（陽的解法）が使用されている．また，これまでの学習アルゴリズムは，常微分方程式の数値積分としてみれば，ほとんどすべてのアルゴリズムがステップサイズ（学習率）を適応的に決定する前進オイラー法とみなすことができる．一方で，常微分方程式の数値積分法に関しては，より洗練された手法，例えば，ルンゲ・クッタ法をはじめとする多段解法，更新先のモデルの挙動を予測しながら求解する陰的解法，またそれらを組み合わせた解法などがある．計算時間の犠牲はある程度伴うが，本研究課題ではこれらを用いることでより高精度かつ安定してモデルを解く手法を確立する．また，その安定性解析には従来からの数値解析分野の知見を活用することができる．これらの知見を利用し，今後，提案モデルを用いたニューラルネットワークの高精度・高速学習アルゴリズムの開発を行う．
|
| Causes of Carryover |
令和５年度はアルゴリズムの構築とコンピュータシミュレーションによる検証とともに，それらを論文にまとめる執筆活動が中心であった．この為，計算機設備に関しては既存の施設で，研究は実施可能であった．次年度以降の研究期間において，研究成果の発表およびより大規模な問題を取り扱う上で必要となる施設を本研究費を用いて準備する予定である．
|
