| 研究実績の概要 |
本研究の目的は, 深層学習の数理的基盤となる枠組みを, ランダム結合をもつニューラルネットワークの解析に基づいて構成することである. 研究実施計画の初年度である本年度は, 課題1-1に対応するパラメータ空間の幾何構造を完全ランダム結合をもつ深層ニューラルネットにおいて重点的に調べた. まず, 研究の予備的知見として報告していたランダム深層ネットにおけるFisher情報行列の固有値分布の解析が出版された. この論文では, 最大固有値に見積りを与えることで, 再急降下法の収束に適したステップ幅(学習率)を評価できることを明らかにした. これにより, 学習率の自動調整を含むよりよい勾配法を提案する課題2を議論するための基盤が構築できたといえる. さらに, 本年度は, 深層学習で広く用いられるbatch normalizationありのモデルにおいても, ランダム結合下でのFisher情報行列の固有値解析を行った. これにより, batch normalizationされたモデルの最大固有値が小さくなることを発見した. すなわちパラメータ空間の幾何学的な構造は, より平坦に近い. この結果は, より大きな学習率をモデルの大きさに依存せずに設定できることを示唆しており, 経験的な知見ともコンシステントであり興味深い. ランダム初期化された幅の大きなモデルに着目することで, 層数や活性化関数の種類の詳細に依存しない, 普遍的なbatch normalizationの理論的な理解を与えることができた. 特に我々の結果は, 最終層にbatch normalizationをかけるだけで十分に最大固有値を下げること, 類似の手法であるlayer normalizationではこの効果が見えないこと, を示唆しており, アルゴリズム間の挙動の違いに対して, 新しい知見を与えた.
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度は課題1-1のパラメータ空間の幾何構造に重点的に取り組むことで順調に進展させることができた. 同様に課題1-2の入力空間の幾何構造についてもプレプリントで予備的知見をあげており, 順調に進んでいるといえる. 一方で, 課題1-3の構造のあるランダム結合については着手していないため, 来年度以降の集中的な取り組みが期待される.
|
| 今後の研究の推進方策 |
課題1-3の構造のあるランダム結合について解析を進める. 深層学習の文脈で, 最適化あるいは汎化において意味のある結合を同定し, 理論解析することが必要である. どのようなランダム結合が応用上重要な意味をもつかを広くサーベイしたのち, 具体的な計算に着手することが望まれる. そこで課題1-3のためのサーベイを進めつつ, 課題2-2の勾配法の改良に着手する. 具体的にはこれまで解析してきたFisher情報行列を活用する自然勾配法を, ランダム初期値まわりの解析をベースに考え, より効率的な自然勾配法の提案へとつなげることが直近の課題である.
|
