代数幾何・代数解析に基づく特異点を持つ学習モデルの予測精度の解明

2001 Fiscal Year Annual Research Report

• Project/Area Number: 12680370
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 渡邊 澄夫 東京工業大学, 精密工学研究所, 教授 (80273118)
• Keywords: 特異点 / 学習理論 / 確率的複雑さ / 神経回路網 / 代数幾何

Research Abstract

神経回路網や混合正規分布などの情報学で用いられる学習モデルは,パターン認識や時系列予測などに広く用いられているが,パラメータ集合に特異点を持ちフィッシヤー計量が特異となるために,従来の統計的漸近理論が適用できない.このため,これらの学習モデルの予測精度のふるまいは未解明な点が多く,学習モデルの最適設計法は確立されていない.本研究では,代数幾何・代数解析で現れる特異点論を応用して,複雑な構造を持つ学習モデルの予測精度を明らかにすることを目的とする.平成13年度は,次の事柄を解明した。1.確率的複雑さから学習サンプル数の対数関数および重複対数関数を減算した式が、ある確率変数に法則収束することを証明した.これより,従来は学習サンプルの出方についての平均についてのみ解明されていた現象を,一組のサンプルについて成り立つように拡張することができ,与えられたサンプルからのモデル選択への応用に著しい進展が得られた.2.カルバック情報量のゼータ関数にブローアップによる特異点解消を適用することにより混合正規分布の予測誤差の上限を与えた.これは統計学においても,従来から不明であった問題を本研究で得られた理論に基づいて解決したものである.3.カルバック情報量のゼータ関数にブローアップによる特異点解消を適用することによりランク縮小写像の予測誤差の上限値を解明した.また計算機シミュレーションにより,理諭により得られた上限値が真の値に近いものであることを示した.今後の課題としては,本研究の成果を実問題に適用する場合に必要となる事後確率分布の高精度な実現法を確立することと,真の分布が特異点から,わずかにずれている場合に起こる現象を明らかにすることなどがある.

Research Products

• [Publications] 渡邊 澄夫: "Algebraic analysis for nonidentifiable learning machines"Neural Computation. 13巻4号. 899-933 (2001)
• [Publications] 渡邊 澄夫: "Algebraic geometrical methods for hierarchical learning machines"Neural Networks. 14巻8号. 1049-1060 (2001)
• [Publications] 渡邊 澄夫: "Learning efficiency of redundant neural networks in Bayesian estimation"IEEE Transactions on Neural Networks. 12巻6号. 1475-1486 (2001)
• [Publications] 渡邊 澄夫: "代数的な特異点を持つ学習モデルの学習誤差と汎化誤差"電子情報通信学会誌A. J84巻1号. 99-108 (2001)
• [Publications] 渡邊 澄夫: "特異点を持つ学習モデルと事前分布の代数幾何"人工知能学会誌. 16巻2号. 308-315 (2001)
• [Publications] 渡邊 澄夫: "学習モデルにおける特異点の幾何学"計測と制御. 40巻6号. 454-459 (2001)
• [Publications] 渡邊 澄夫: "データ学習アルゴリズム"共立出版. 187 (2001)