識別不能性を持つ非正則統計モデルの推定理論に関する研究

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13780181
• Research Category: Grant-in-Aid for Encouragement of Young Scientists (A)
• Research Institution: The Institute of Statistical Mathematics
• Principal Investigator: 福水 健次 統計数理研究所, 統計基礎研究系, 助教授 (60311362)
• Keywords: 識別不能性 / 比正則モデル / 統計的推定 / 尤度比 / ニューラルネット / 混合モデル / 統計的漸近理論

Research Abstract

本年度の研究ではニューラルネットやある種のミクスチャモデルのように,尤度比検定統計量が漸近的に発散するようなモデルに対し,発散の十分条件と,サンプル数に対する漸近オーダーに関して研究を行った。その主な結果として,以下の3つの理論的結果を得た。第一に,局所錐型モデルの定式化を用いてモデルの特異点における接錐(スコア関数の族)を考えることにより,接錐が無限個のほとんど無相関な関数を含むことが,尤度比検定統計量の漸近的発散の十分条件になっていることを明らかにした。この十分条件は判定が容易であるとともに,ニューラルネットや正規混合モデルに対して従来個別に知られていた事実に統一的な視点を与えている。第二に,ニューラルネットの三層パーセプトロンモデルに関し,真の関数を表現するのに2個以上余分な中間素子を持つモデルを用いて最尤推定を行った場合,その尤度比検定統計量が少なくともlog n(nはサンプル数)以上のオーダーを持つことを示した。これは従来,ガウスノイズの強い仮定のもとに知られていた結果を,ロジスティックモデルなどを含む非常に緩い仮定のもとで一般化したものである。第三に,ガウスノイズあるいは二項分布をノイズモデルに仮定したとき,有限のVC次元を持つ有界な回帰関数族のモデルに対して,尤度比検定統計量の漸近オーダーがlog n以下になることを示した。第二,第三の結果を合わせると,三層パーセプトロンで冗長な中間素子を2個以上含む場合には,尤度比検定統計量は丁度log nの漸近オーダーを持つことがわかる。以上の結果はニューラルネットなどの複雑な構造をもつモデルにおいて冗長なサイズを用いると,データへの当てはまりが極めて強いことを意味しており,正則化項ないしはペナルティ項の導入により,パラメータの過度なばらつきを防止する工夫がとりわけ重要であることを理論的に示している。

Research Products

• [Publications] K.Fukumizu: "Geometry of neural networks : Natural gradient for learning"Neuro-informatics and Neural Modelling. 731-769 (2001)
• [Publications] K.Fukumizu: "Geometry of neural networks and models with singularities"AIP Conference Proceedings 553 : Disordered and Complex Systems. 117-122 (2001)
• [Publications] K.Fukumizu: "Asymptotic Theory of Locally conic Models and its Application to Multilayer Neunal Networks"Knowledge-Based Intelligent Information Engineering Systems & Allied Technologies. 2. 1570-1574 (2001)