代数幾何・代数解析に基づく特異点を持つ学習モデルの予測精度の解明

2002 Fiscal Year Annual Research Report

• Project/Area Number: 12680370
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 渡邊 澄夫 東京工業大学, 精密工学研究所, 教授 (80273118)
• Keywords: 特異点 / 代数幾何 / 代数解析 / 学習理論 / 汎化誤差 / 確率的複雑さ

Research Abstract

神経回路網、混合正規分布、ベイズネットワーク、隠れマルコフモデル、縮小ランク回帰など、階層構造を持つ学習モデルは、情報学における多くの実問題に適用されている。しかしながら、これらの学習モデルは、パラメータから確率分布への写像が1対1ではなく、フィツシャー情報量が縮退する特異点を多く持つために、その予測精度の解析には従来からよく知られた統計的正則モデルの方法を適用することができず、学習誤差や汎化誤差などが未解明であるためにモデル選択や検定などの最適設計法が確立されていない。この学習理論における特異点の問題において、我々は、特異点の代数幾何学的な性質と予測精度との数学的な関係を世界で初めて発見・証明し、その後、いくつかの学習モデルにおいて具体的な予測精度を解明してきた。平成14年度の研究成果としては次の3点がある。1.真の分布と特異点が一致せず、そのカルバック距離が、サンプル数の(-1/2)乗に比例する場合において、特異点が予測精度に及ぼす影響を解明し、真の分布が特異点からずれている場合にも、特異点の存在によって正則モデルよりも優れた予測能力を持つことを明らかにした。2.特異点を持つ学習モデルの選択において、真の分布が有限の大きさのモデルに含まれている場合にはジェフリーズの事前分布がモデル選択の一致性および予測精度の両面で優れていること、一方、真の分布が有限の大きさのモデルに含まれていないときにはジェフリーズの事前分布は適さないことを明らかにした。3.特異点を持つ学習モデルの一例であるボツルマンマシンについて、代数幾何学的な方法によって、その予測精度を解明した。本研究により、特異点を持つ学習モデルの予測精度の解明および実問題への応用において、数学的基盤が構成された。

Research Products

• [Publications] Sumio Watanabe, Shun-ichi Amari: "Learning coefficients of layered models when the true distribution mismatches the singularities"Neural Computation. 15・3(印刷中). (2003)
• [Publications] 山崎啓介, 渡邊澄夫: "特異点を持つ推論モデルの学習曲線の確率的計算法"電子情報通信学会誌. J85-II・3. 363-372 (2002)
• [Publications] 西上功一郎, 渡邊澄夫: "特異な学習モデルの選択における事前分布の影響について"電子情報通信学会誌. J86-D-II・1. 119-129 (2003)
• [Publications] 渡辺一帆, 渡邊澄夫: "縮小ランク回帰モデルのベイズ汎化誤差について"電子情報通信学会誌. J86-A・3(印刷中). (2003)
• [Publications] Keisuke Yamazaki, Sumio Watanabe: "Singularities in mixture models and upper bounds of stochastic complexity"International Journal of Neural Networks. (掲載決定). (2003)
• [Publications] Sumio Watanabe, Shun-ichi Amari: "The effect of singularities in a learning machine when the true parameters do not lie on such singularities"Advances in Neural Information Processing Systems. (掲載決定). (2003)
• [Publications] 渡邊澄夫(分担): "脳情報数理科学の発展-21世紀に広がる脳科学の新しい胎動"サイエンス社. 184 (2002)