統計的学習理論における代数幾何学的方法の確立

2003 年度 実績報告書

• 研究課題/領域番号: 15500130
• 研究機関: 東京工業大学
• 研究代表者: 渡邊 澄夫 東京工業大学, 精密工学研究所, 教授 (80273118)
• キーワード: 特異モデル / 代数幾何 / ブローアップ / 特定不能 / 統計的学習理論

研究概要

ニューラルネットワーク、混合正規分布、ボルツマンマシン、隠れマルコフモデル、ベイズネットワークなどの情報学で広く用いられている学習モデルは特異モデルと呼ばれ、階層性、対称性、モジュール構造を持つことにより、統計的正則モデルではなく、その学習の性質は、未だに解明されていない。また工学的に最適な設計法についても確立されていない。本研究は、代数幾何学的な理論を建設することにより、特異モデルの学習理論とその最適設計論を確立することを目的としている。
本年度は、これまでに解明されている学習モデルのゼータ関数を特異点解消により解析する方法において、より具体的な学習モデルにおける振舞いを解析した。実際.混合正規分布、ベイズネットワーク、隠れマルコフモデルなどの学習モデルのゼータ関数の極を考察することにより、その予測精度の上限を与えた。この結果、特異モデルの予測精度は、統計的正則モデルよりも優れていることが明らかになった。
また、真の分布が特異点と一致しない場合における予測精度の解明を行なった。パラメータ空間の次元が低い場合には、真の分布と特異点が一致しない場合に、正則モデルよりも予測精度が悪化することがあるが、パラメータ空間の次元が大きくなると、真の分布と特異点が一致していてもいなくても、正則モデルよりも特異モデルが予測精度において優れていることが明らかになった。

研究成果

• [文献書誌] S.Watanabe, S.Amari: "Learning Coefficients of Layered Models when the true parameter mismatches the singularities"Neural Computation. 15・5. 1013-1033 (2003)
• [文献書誌] K.Yamazaki, S.Watanabe: "Singularities in mixture models and upper bounds of stochastic complexity"International Journal of Neural Networks. 16・7. 1029-1038 (2003)
• [文献書誌] Keisuke Yamazaki, Sumio Watanabe: "Stochastic complexity of Bayesian networks"Uncertainty in Artificial Intelligence. 592-599 (2003)
• [文献書誌] Keisuke Yamazaki, Sumio Watanabe: "Stochastic complexities of hidden Markov models"Neural Networks for Signal Processing. (CD-ROM). (2003)
• [文献書誌] Sumio Watanabe, Keisuke Yamazaki: "Algebraic geometry, zeta functions, and marginal likelihood of Bayesian statistics"Anniversary of the information criterion. (CD-ROM). (2003)
• [文献書誌] 渡辺澄夫: "特異モデルとベイズ学習"日本神経回路学会誌. 10・4. 211-219 (2003)