2020 Fiscal Year Research-status Report
ランダム深層ニューラルネットの数理的基盤の構築とその学習への応用
| Project/Area Number |
19K20366
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
唐木田 亮 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (30803902)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 深層学習 / 統計力学 / ニューラルネットワーク / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は, 深層学習の数理的基盤となる枠組みを, ランダム結合をもつニューラル ネットワークの解析に基づいて構成することである. 研究実施計画2年度目である本年度は, 課題(1-1)および課題(2-2)に関連する自然勾配法の理論解析において進捗が見られた. 具体的には実用上で使われている近似自然勾配法のいくつかが, 幅無限大の深層モデルにおけるランダム初期値近傍のNeural Tangent Kernel (NTK) regimeにおいて, 近似なしの手法と同じ訓練収束のダイナミクスを達成できることを明らかにした. 自然勾配法はFisher情報行列に基づいて最急勾配を補正する手法である. 昨年度までの課題(1-1)では, パラメータ空間の幾何構造をランダム初期値におけるFisher情報行列を通して解析していたが, この解析の知見を近似行列に応用することで, 本結果へとつながった. さらに, 得られた結果では, 近似自然勾配法が高速な収束を実現するために満たすべき一般的な条件にも洞察を与えており, 課題(2-2)の勾配法の改良につながる有用な知見を与えられたといえる.
さらに課題(1-3)の記憶埋め込み深層モデルに関連して, 本年度は訓練されたVAEモデルにおいて, 連想記憶モデルと類似した記憶の引き込みダイナミクスが見られることを実験的に明らかにした. すなわち, モデルにおける発火パターンのサンプリングを繰り返すとき, このパターンは訓練パターンの平均(コンセプトベクトル)に対応したものに近づく. この知見は, 実際の訓練済みモデルで連想記憶モデル的挙動が見られることを示すとともに, 今後のランダムウエイトでの理論解析を行う際の実験的基礎のひとつになると期待できる.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度までにおけるランダム初期値におけるニューラルネットの解析を拡張することで, 本年度はNTK regimeを通して, 学習手法の解析へとつなげることができた. その意味では課題(1-1)を課題(2-2)につなげることに成功しており, またこの研究は国際会議における口頭発表にも選ばれており, 関連分野において興味深い知見を得ることができたともいえる. 具体的な記憶埋め込みモデルの理論解析へは着手しなかったため, 課題(1-3)は残っているが, 来年度以降に参考となる実験的知見は得られた. よって, おおむね順調に進展しているといえる.
|
| Strategy for Future Research Activity |
昨年度からの継続で, 課題(1-2)の入力空間の幾何構造についての知見はある程度たまっているため, 成果としてまとめて発表することが来年度中に期待できるだろう. また, 課題(1-3)の記憶埋め込みモデルに関連して, 直交行列あるいはウエイト行列のSVD分解を使った一般形での評価など, 古典的なHebb結合に限らない幅広い視点で解析を試み, 実際の機械学習において有用な知見を与えられるよう目指す予定である.
|
| Causes of Carryover |
本年度は学会の現地開催中止やCOVID-19による海外出張の延期の影響で旅費が抑られた. ま た, 数値実験が比較的小規模で済んだため計算機使用料が抑えられた. これらの次年度使用額は旅費・計算機使用料として利用する計画である.
|
