| 研究実績の概要 |
本研究課題の目的は, 幾何学の視点に基づいたアルゴリズムの提案と理論解析をとおして, 制御が容易な深層学習法を確立することである. この目的を達成するため, 昨年度にひきつづき, 深層ネットワークの平均場解析, 幾何学的な立場からみたWasserstein距離を使ったコスト関数設計, パラメータ空間の特異領域における学習の停滞, の3点をそれぞれ進展させた. まず, 平均場解析では, Fisher計量行列の固有値を解析し, 最大固有値が極めて大きくなることを明らかにした. これにより学習の収束に必要な学習率を具体的に求めることができ, 典型的な実データセットで実験との一致を確認した. 学習率には多くのヒューリスティクスがあるが, これに対し理論的な予測を与えたことは, 制御が容易な深層学習を達成するため非常に意義深い. また, この平均場理論の知見を応用し, 計算コストが低く扱いやすい自然勾配法の提案を行った. これは, 深層学習のより高速な収束, 学習時間の短縮につながると期待できる. 次に, Wasserstein距離においては, 昨年度に構成した情報幾何学の知見に基づき, エントロピー正則付きWasserstein距離が正しい距離を構成するための補正法を提案した. この補正法により, 今後, 数理的に自然であつかいやすいアルゴリズムの開発が期待できるとともに, 画像生成の応用において, よりシャープで現実に近い画像を生成することが可能になることも期待させる. さらに, 特異領域の解析においては, 統計力学的なアプローチで学習のダイナミクスを少数の方程式に縮約することに成功した. これにより, モデルの出力素子数が増えることで学習の停滞を避けるダイナミクスの定量化が可能になった. 今後, 学習の挙動を数理的に説明するうえで基礎になる知見と考えられ意義深い.
|
