| 研究概要 |
昨年度の研究から,異なったパラメータ値でも学習機械が同じ挙動する特異点が存在する場合,周辺尤度最大化などのパラメータ推定のアルゴリズムがうまく働かなくなることがわかった.これは研究計画当初には予想できなかったことであり,プロジェクト遂行上の必要性から,今年度は特異性を持つモデルのパラメータ推定の性質を調べることを第一の目標とした。これまで研究では,特異性を持つモデルの汎か誤差など,学習が終了した後の性質を議論する場合がほとんどであり,このプロジェクトに必要な学習のダイナミクスに関して,まったく研究が行われていなかった.そこで私は,学習のダイナミクスの解析が比較的容易なオンライン学習の枠組みで特異性を持つモデルのパラメータ確定を議論することにした。問題として,もっとも単純でよく知られている多層パーセプトロンを最急降下法で学習する場合を取り上げた.この場合,二種類の特異点が存在する.一つは同じ中間層の結合加重を持ち,中間層から出力層への結合荷重が一定となるようなもの(タイプI)であり,もう一つは出力層への結合荷重の一つが0になるものである(タイプII).入力次元無限大の熱力学的極限では,タイプIIのみが重要になる.解析の結果,(1)特異性がある場合,特異点近傍に系の状態は停留し,学習は著しく遅くなる.(2)ほとんどの初期値で熱力学的に重要になるタイプIIへ系は収束する.(3)初期値の対称性が高いときにのみ,タイプIでとどまるように見えるが,収束速度はさらに遅い.ことがわかった.つまり,特異点を持つモデルでは,最急降下法を用いることは望ましくないことがわかった.そこで,系のFisher情報行列を用いた自然勾配法の性質を議論し,この方法では前述の困難が全て解決することがわかった.
|
