| Project/Area Number |
23K11267
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 情報学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 勾配ダイナミクスモデル / 適応的モーメント法 / 慣性付２次近似勾配モデル / 最適化アルゴリズム / 時空間２次ダイナミクスモデル |
|---|
| Outline of Research at the Start |
ニュートン法に代表される２次手法を大規模な問題に応用する場合，その特徴であるヘッセ行列を含む曲率情報を高精度・高速に求めることが重要になる．従来は準ニュートン法が最も有効とされ，ヘッセ行列を近似することにより計算量を大幅に削減し，さらに，その発展として，記憶制限手法やメモリーレス手法が提案されて，計算量や使用メモリの削減が試みられてきた．しかし，特にメモリ削減による誤差の影響で，強非線形データの学習はある程度の規模でも困難であった．本研究課題では，将来のデータの大規模・複雑化を予想し，強非線形ビックデータに対応した学習アルゴリズムの開発を目指すことで，深層学習の新たなパラダイムを確立する．
|
| Outline of Annual Research Achievements |
AIやIoT技術がもたらす新たなデータドリブン時代の到来とともに予想される『収集されるデータの大規模・複雑化および対応するニューラルネットワークの高機能化』．この実現のカギを握る技術の１つがより高精度かつ高速な学習法の確立である．本研究課題では，
①慣性付２次近似勾配モデルを拡張した時空間２次ダイナミクスモデルの提案
②提案モデルを用いたニューラルネットワークの高精度・高速学習アルゴリズムの開発
③適応的学習率の導入によるダイミクスの安定化とその解析
に関する研究遂行により深層学習の新たなパラダイムを確立することを目指す．これにより，従来は実現不可能であった複雑さと規模のデータ処理能力を持つニューラルネットワークを実現するとともに，安定性および収束性解析を通してその学習メカニズムを明らかにする研究課題である．このうち，当該年度においては，①のダイナミクスモデルの提案を行った．このモデルは，モーメント法から導かれる時間に対する２次導関数とニュートン法から導かれる慣性付パラメータ空間での２次導関数（ヘッセ行列）を示し，モーメント法の高速化と曲率情報による高精度化の両者を含むモデルとなる．一方，このモデルはヘッセ行列を含み，これまでと同様の計算機リソース（計算量とメモリ）が必要となる．この問題を1変数を追加することで，ダイナミクスからヘッセ行列を削除する手法を用いて解決し，さらに，その式変形を工夫することで，ニューラルネットワークの学習において一般的に用いられる適応的モーメント法(Adam)におけるバイアス補正を導入することを可能にしたアルゴリズムを提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和５年度は，本研究課題のもととなる，慣性付２次近似勾配モデルを連続時間ダイナミクスモデルとしてとらえ，勾配法としての最適化アルゴリズムとしての有効性に関して議論し，シミュレーションにより示すことができた．この結果を研究会へ技術報告としてまとめた．現在，この結果を拡張して学術論文への投稿を検討している．一方で，確率的勾配法の考え方を，提案手法への適応性に関する基礎研究を行った．これにより，ディープラーニングなどの，現在盛んに研究されているネットワークに対する学習を扱うことができるようになった．その結果，今後，一般的に使用されている学習アルゴリズムに対する有効性を示すことができると予想される．
|
| Strategy for Future Research Activity |
提案するモデルは常微分方程式であり，（最適）解を得るためには数値積分が必要となる．これには，連続時間から離散時間への変換を伴い，必ず，誤差を生じる近似を行うことになる．従って，この変換には十分に洗練された手法を導入する必要がある．これまでの勾配法では，もっとも単純な数値積分法である前進オイラー法（陽的解法）が使用されている．また，これまでの学習アルゴリズムは，常微分方程式の数値積分としてみれば，ほとんどすべてのアルゴリズムがステップサイズ（学習率）を適応的に決定する前進オイラー法とみなすことができる．一方で，常微分方程式の数値積分法に関しては，より洗練された手法，例えば，ルンゲ・クッタ法をはじめとする多段解法，更新先のモデルの挙動を予測しながら求解する陰的解法，またそれらを組み合わせた解法などがある．計算時間の犠牲はある程度伴うが，本研究課題ではこれらを用いることでより高精度かつ安定してモデルを解く手法を確立する．また，その安定性解析には従来からの数値解析分野の知見を活用することができる．これらの知見を利用し，今後，提案モデルを用いたニューラルネットワークの高精度・高速学習アルゴリズムの開発を行う．
|
