• Search Research Projects
  • Search Researchers
  1. Back to previous page

識別不能性を持つ非正則統計モデルの推定理論に関する研究

Research Project

Project/Area Number13780181
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Statistical science
Research InstitutionThe Institute of Statistical Mathematics

Principal Investigator

福水 健次  統数研, 助教授 (60311362)

Project Period (FY) 2001 – 2002
Project Status Completed(Fiscal Year 2002)
Budget Amount *help
¥2,400,000 (Direct Cost : ¥2,400,000)
Fiscal Year 2002 : ¥600,000 (Direct Cost : ¥600,000)
Fiscal Year 2001 : ¥1,800,000 (Direct Cost : ¥1,800,000)
Keywords識別不能性 / 比正則モデル / 統計的推定 / 尤度比 / ニューラルネット / 混合モデル / 統計的漸近理論
Research Abstract

本年度の研究ではニューラルネットやある種のミクスチャモデルのように,尤度比検定統計量が漸近的に発散するようなモデルに対し,発散の十分条件と,サンプル数に対する漸近オーダーに関して研究を行った。その主な結果として,以下の3つの理論的結果を得た。第一に,局所錐型モデルの定式化を用いてモデルの特異点における接錐(スコア関数の族)を考えることにより,接錐が無限個のほとんど無相関な関数を含むことが,尤度比検定統計量の漸近的発散の十分条件になっていることを明らかにした。この十分条件は判定が容易であるとともに,ニューラルネットや正規混合モデルに対して従来個別に知られていた事実に統一的な視点を与えている。第二に,ニューラルネットの三層パーセプトロンモデルに関し,真の関数を表現するのに2個以上余分な中間素子を持つモデルを用いて最尤推定を行った場合,その尤度比検定統計量が少なくともlog n(nはサンプル数)以上のオーダーを持つことを示した。これは従来,ガウスノイズの強い仮定のもとに知られていた結果を,ロジスティックモデルなどを含む非常に緩い仮定のもとで一般化したものである。第三に,ガウスノイズあるいは二項分布をノイズモデルに仮定したとき,有限のVC次元を持つ有界な回帰関数族のモデルに対して,尤度比検定統計量の漸近オーダーがlog n以下になることを示した。第二,第三の結果を合わせると,三層パーセプトロンで冗長な中間素子を2個以上含む場合には,尤度比検定統計量は丁度log nの漸近オーダーを持つことがわかる。以上の結果はニューラルネットなどの複雑な構造をもつモデルにおいて冗長なサイズを用いると,データへの当てはまりが極めて強いことを意味しており,正則化項ないしはペナルティ項の導入により,パラメータの過度なばらつきを防止する工夫がとりわけ重要であることを理論的に示している。

Report

(1results)
  • 2001 Annual Research Report

Research Products

(3results)

All Other

All Publications

  • [Publications] K.Fukumizu: "Geometry of neural networks : Natural gradient for learning"Neuro-informatics and Neural Modelling. 731-769 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] K.Fukumizu: "Geometry of neural networks and models with singularities"AIP Conference Proceedings 553 : Disordered and Complex Systems. 117-122 (2001)

    • Related Report
      2001 Annual Research Report
  • [Publications] K.Fukumizu: "Asymptotic Theory of Locally conic Models and its Application to Multilayer Neunal Networks"Knowledge-Based Intelligent Information Engineering Systems & Allied Technologies. 2. 1570-1574 (2001)

    • Related Report
      2001 Annual Research Report

URL :

Published : 2001-04-01   Modified : 2016-04-21  

Information FAQ News Terms of Use

Powered by NII kakenhi