| 研究概要 |
階層型ニューラルネットワークや混合正規分布,ボルツマンマシンなどの学習モデルは,パラメータが特定不能になり,フィッシャー計量が縮退するという特徴をもつ.例えば,3層ニューラルネットワークにおいて,パラメータwが,学習モデルよりもより少ない隠れユニット数をもつモデルを表現する時,フィッシャー情報行列I(w)が特異(detI(w)=0)になる.すなわち,小さなモデルを表現するパラメータが大きなモデルを表現するパラメータの解析的集合となる。このようなモデルを特異モデルと呼ぶ.近年,渡辺澄夫教授により,ベイズ推測において重要な役割を果たす確率的複雑さが,カルバック情報量の特異点解消により得られることが明らかになった.しかし,このような数理の確立にもかかわらず,カルバック情報量は,ほとんどがニュートン図形退化で,さらに特異点が孤立していないという状況であるため,確率的複雑さを実際に得るのは困難であった.実際,ゼータ関数の極の値に関しては,数学の分野においても概均質ベクトル空間などの特別な場合にしか研究されていないのが実情である.
今年度は,前年度に引き続き,より一般形の縮小ランクモデル,3層ニューラルネットワークにおいての確率的複雑さの厳密な漸近展開を与えた.recursive blowing-up及びトーリック多様体によりカルバック情報量の特異点を帰納的に解消する方法を提案し,この方法で上限のみしか得られていなかった学習モデルのゼータ関数の最大の極およびその位数の値を与え,汎化誤差の漸近展開を明らかにした.今後は,多層ニューラルネットワークについても考察していきたい.
|
