統計的学習理論における代数幾何学的方法の確立

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15500130
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 渡邊 澄夫 東京工業大学, 精密工学研究所, 教授 (80273118)
• Keywords: 特異モデル / 代数幾何 / ブローアップ / 特定不能 / 統計的学習理論

Research Abstract

ニューラルネットワーク、混合正規分布、ボルツマンマシン、隠れマルコフモデル、ベイズネットワークなどの情報学で広く用いられている学習モデルは特異モデルと呼ばれ、階層性、対称性、モジュール構造を持つことにより、統計的正則モデルではなく、その学習の性質は、未だに解明されていない。また工学的に最適な設計法についても確立されていない。本研究は、代数幾何学的な理論を建設することにより、特異モデルの学習理論とその最適設計論を確立することを目的としている。
本年度は、これまでに解明されている学習モデルのゼータ関数を特異点解消により解析する方法において、より具体的な学習モデルにおける振舞いを解析した。実際.混合正規分布、ベイズネットワーク、隠れマルコフモデルなどの学習モデルのゼータ関数の極を考察することにより、その予測精度の上限を与えた。この結果、特異モデルの予測精度は、統計的正則モデルよりも優れていることが明らかになった。
また、真の分布が特異点と一致しない場合における予測精度の解明を行なった。パラメータ空間の次元が低い場合には、真の分布と特異点が一致しない場合に、正則モデルよりも予測精度が悪化することがあるが、パラメータ空間の次元が大きくなると、真の分布と特異点が一致していてもいなくても、正則モデルよりも特異モデルが予測精度において優れていることが明らかになった。

Research Products

• [Publications] S.Watanabe, S.Amari: "Learning Coefficients of Layered Models when the true parameter mismatches the singularities"Neural Computation. 15・5. 1013-1033 (2003)
• [Publications] K.Yamazaki, S.Watanabe: "Singularities in mixture models and upper bounds of stochastic complexity"International Journal of Neural Networks. 16・7. 1029-1038 (2003)
• [Publications] Keisuke Yamazaki, Sumio Watanabe: "Stochastic complexity of Bayesian networks"Uncertainty in Artificial Intelligence. 592-599 (2003)
• [Publications] Keisuke Yamazaki, Sumio Watanabe: "Stochastic complexities of hidden Markov models"Neural Networks for Signal Processing. (CD-ROM). (2003)
• [Publications] Sumio Watanabe, Keisuke Yamazaki: "Algebraic geometry, zeta functions, and marginal likelihood of Bayesian statistics"Anniversary of the information criterion. (CD-ROM). (2003)
• [Publications] 渡辺澄夫: "特異モデルとベイズ学習"日本神経回路学会誌. 10・4. 211-219 (2003)