| 研究実績の概要 |
本研究の目的は, 深層学習の数理的基盤となる枠組みを, ランダム結合をもつニューラル ネットワークの解析に基づいて構成することである. 研究実施計画2年度目である本年度は, 課題(1-1)および課題(2-2)に関連する自然勾配法の理論解析において進捗が見られた. 具体的には実用上で使われている近似自然勾配法のいくつかが, 幅無限大の深層モデルにおけるランダム初期値近傍のNeural Tangent Kernel (NTK) regimeにおいて, 近似なしの手法と同じ訓練収束のダイナミクスを達成できることを明らかにした. 自然勾配法はFisher情報行列に基づいて最急勾配を補正する手法である. 昨年度までの課題(1-1)では, パラメータ空間の幾何構造をランダム初期値におけるFisher情報行列を通して解析していたが, この解析の知見を近似行列に応用することで, 本結果へとつながった. さらに, 得られた結果では, 近似自然勾配法が高速な収束を実現するために満たすべき一般的な条件にも洞察を与えており, 課題(2-2)の勾配法の改良につながる有用な知見を与えられたといえる.
さらに課題(1-3)の記憶埋め込み深層モデルに関連して, 本年度は訓練されたVAEモデルにおいて, 連想記憶モデルと類似した記憶の引き込みダイナミクスが見られることを実験的に明らかにした. すなわち, モデルにおける発火パターンのサンプリングを繰り返すとき, このパターンは訓練パターンの平均(コンセプトベクトル)に対応したものに近づく. この知見は, 実際の訓練済みモデルで連想記憶モデル的挙動が見られることを示すとともに, 今後のランダムウエイトでの理論解析を行う際の実験的基礎のひとつになると期待できる.
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
昨年度までにおけるランダム初期値におけるニューラルネットの解析を拡張することで, 本年度はNTK regimeを通して, 学習手法の解析へとつなげることができた. その意味では課題(1-1)を課題(2-2)につなげることに成功しており, またこの研究は国際会議における口頭発表にも選ばれており, 関連分野において興味深い知見を得ることができたともいえる. 具体的な記憶埋め込みモデルの理論解析へは着手しなかったため, 課題(1-3)は残っているが, 来年度以降に参考となる実験的知見は得られた. よって, おおむね順調に進展しているといえる.
|
| 今後の研究の推進方策 |
昨年度からの継続で, 課題(1-2)の入力空間の幾何構造についての知見はある程度たまっているため, 成果としてまとめて発表することが来年度中に期待できるだろう. また, 課題(1-3)の記憶埋め込みモデルに関連して, 直交行列あるいはウエイト行列のSVD分解を使った一般形での評価など, 古典的なHebb結合に限らない幅広い視点で解析を試み, 実際の機械学習において有用な知見を与えられるよう目指す予定である.
|
