代数幾何・代数解析に基づく特異点を持つ学習モデルの予測精度の解明

2000 Fiscal Year Annual Research Report

• Project/Area Number: 12680370
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 渡邊 澄夫 東京工業大学, 精密工学研究所, 助教授 (80273118)
• Keywords: 代数幾何 / 代数解析 / ニューラルネットワーク / 佐藤b関数 / 自由エネルギー / 確率的複雑さ / 予測誤差 / 特異点解消

Research Abstract

複雑な構造を持つ学習モデルにおいては,パラメータの集合から学習モデルへの写像が1対1でなく,学習モデルのふるまいからパラメータを特定することができないという問題がある.この問題は神経回路網や混合正規分布などのいわゆる階層構造を持つ学習モデルの共通の問題である.パラメータが特定可能でない学習モデルでは,フィッシャ情報量から導入される学習モデル族の計量が縮退し,通常の統計的漸近理論が利用できない.本研究では,代数幾何および代数解析などの現代数学の方法に基づいて,特定不能な学習モデル,言いかえれば,特異な計量を持つ学習モデルの性質を解明する.この研究は,研究代表者が独自に創始したものであり,諸外国で行なわれた研究の輸入ではない.これまでの研究において,特異な計量を持つ学習モデルのベイズ推測における漸近的な性質は,カルバック情報量と事前分布とから定まるゼータ関数の極により記述できることが解明されている.本年度の成果としては,真の分布が学習モデルに含まれていない場合には,学習サンプル数が増えるにつれて,適切な特異点が選ばれ,それにより正則な統計モデルよりも遥かに小さい誤差で予測が可能になることを証明した.また,真の分布がモデル族に含まれているときには,ジェフリーズの事前分布を用いる場合のみ正則な統計モデルと同等のモデル選択が可能であることを明かにした.さらに,カルバック情報量が一定値以下になるパラメータ空間の体積の次元によって予測精度が計算できることを明かにした.
来年度への課題としては,与えられた具体的な学習モデルの予測精度を計算すること,および,予測精度最良と真のモデル選択に関するシミュレーション実験を行ない,本研究の実用性を明らかにすること、さらに、経験確率過程論に基づいて,確率的複雑さの高次展開を行ない,予測誤差の漸近形を巌密に導出することがあげられる.

Research Products

• [Publications] 渡邊澄夫: "代数的な特異点を持つ学習モデルの学習誤差と汎化誤差"電子情報通信学会誌(A). J84-A巻1号. 99-108 (2001)
• [Publications] 渡邊澄夫: "特異点を持つ学習モデルと事前分布の代数幾何"人工知能学会誌. 第16巻2号. 308-316 (2001)
• [Publications] Sumio Watanabe: "Algebraic analysis for Non-identifiable Learning Machines"Neural Computation. 第13巻4号(印刷中). (2001)
• [Publications] Sumio Watanabe: "Algebraic Intormation Geometry for Learning Machines with Singularities"Advances in Neural Information Processing Systems. 第13巻(印刷中). (2001)
• [Publications] Sumio Watanabe: "Algebraic Geometry of Statistical Models with Singular Fisher Metrics"Proceedings of 2nd International Symposium on Time Series Modeling. 1巻. 228-229 (2000)
• [Publications] Sumio Watanabe: "Algebraic analysis for non-regular learning machines"Advances in Neural Information Processing Systems. 1巻. 356-362 (2000)
• [Publications] 渡邊澄夫: "学習と特異点論"情報論的学習理論ワークショップ予稿集. 1巻. 1-8 (2000)
• [Publications] 渡邊澄夫: "学習モデルの代数幾何"数理科学「最新脳のモデルと数理」. 444号. 59-65 (2000)
• [Publications] 渡邊澄夫: "脳科学大辞典(分担)"朝倉書店. 1006 (2000)