| Research Abstract |
階層型ニューラルネットワークのように,入力からも出力からも直接には働きを定められていない隠れた部分を持つ学習モデルは,パラメータが特定不能になり,フィッシャー計量が縮退するという特徴をもつ.このようなモデルを特異モデルと呼ぶ.渡辺澄夫は、この場合に関して、学習モデルのゼータ関数の極が,特異モデルのベイズ推測に関する確率的複雑さの漸近形を与えることを示している.ここで学習モデルのゼータ関数は,カルバック情報量と事前分布より定まる1変数複素関数である.
今年度は,縮小ランクモデル,および3層ニューラルネットワークにおいての確率的複雑さの厳密な漸近展開を与えた.recursive blowing-upによりカルバック情報量の特異点を帰納的に解消する方法を提案し,特異点解消が学習理論のゼータ関数の解析に有効であることを示した.また,これを縮小ランクモデル,3層ニューラルネットワークに応用することで,上限のみしか得られていなかった学習モデルのゼータ関数の最大の極およびその位数の値を与え,汎化誤差の漸近展開を明らかにした.いままで,複雑な学習モデルの選択やハイパーパラメータの設計において,周辺尤度の値を理論計算することが出来なかったので,特異点を持つ学習モデルにMCMC法を適用した場合,どの程度正しい値が得られているかを確認することが出来なかった.しかし,縮小ランクモデルなどの周辺尤度の理論値が得られたことにより,今後,MCMC法の精度を解明することや,MCMC法の精度の改良法などを考察することの基盤が作られることになる.
また,カルバック情報量より導かれる関数は,ほとんどが,ニュートン図形退化で,さらに特異点が孤立していないという状況である事もわかった.このような特異点は代数幾何の分野においてもまだあまり研究されていないので,今後,代数幾何学的観点からも考察していきたい.
|
