代数幾何学的方法による情報物理学理論の確立

2009 年度 研究成果報告書

• 研究課題/領域番号: 18079007
• 研究種目: 特定領域研究
• 配分区分: 補助金
• 審査区分: 理工系
• 研究機関: 東京工業大学
• 研究代表者: 渡邊 澄夫 東京工業大学, 精密工学研究所, 教授 (80273118)
• 連携研究者: 山崎 啓介 東京工業大学, 精密工学研究所, 助教 (60376936)
• 研究期間 (年度): 2006 – 2009
• キーワード: 代数幾何 / 情報物理学 / 学習理論 / 特異点論 / 超関数論 / 確率過程論

研究概要

情報学で用いられる多数の学習システムは縮退したフィッシャー情報行列を持つ特異モデルであるため,正則モデルの統計理論で学習の挙動を解明することはできなかった.本研究では高次元代数幾何学を基礎として特異モデルの挙動解明を行うことができる情報物理学理論を確立した.この結果,学習誤差と汎化誤差の漸近挙動が二つの双有理不変量により定まることが明らかになり,真の分布が不明なとき特異でも正則でも学習誤差から汎化誤差を推測することができる新しい情報量規準の導出に成功した.

研究成果

• [雑誌論文] Equations of states in statistical learning for an unrealizable and regular case (2010)
  • 著者名/発表者名: S. Watanabe
  • 雑誌名: IEICE Transactions Vol.E93-A,No.3 ページ: 617-626
  • 査読あり
• [雑誌論文] Equations of states in singular statistical estimation (2010)
  • 著者名/発表者名: S. Watanabe
  • 雑誌名: Neural Networks Vol.23,No.1 ページ: 20-34
  • 査読あり
• [雑誌論文] Asymptotic Analysis of Bayesian Generalization Error with Newton Diagram (2010)
  • 著者名/発表者名: K. Yamazaki, M. Aoyagi, S. Watanabe
  • 雑誌名: Neural Networks Vol.23,No.1 ページ: 35-43
  • 査読あり
• [雑誌論文] Upper bound for variational free energy of Bayesian networks (2009)
  • 著者名/発表者名: K. Watanabe, M. Shiga, S. Watanabe
  • 雑誌名: Machine Learning vol.75,no.2 ページ: 199-215
  • 査読あり
• [雑誌論文] 形式的情報量規準による決定株を用いたAdaBoostのモデル選択 (2009)
  • 著者名/発表者名: 梶大介, 渡辺澄夫
  • 雑誌名: 電子情報通信学会誌D Vol.J92-D,Vol.J92-D,No.11 ページ: 2051-2058
  • 査読あり
• [雑誌論文] Asymptotic Behavior of Exchange Ratio in Exchange Monte Carlo Method (2008)
  • 著者名/発表者名: K. Nagata, S. Watanabe
  • 雑誌名: Neural Networks Vol.21,No.7 ページ: 980-988
  • 査読あり
• [雑誌論文] Exchange Monte Carlo Sampling From Bayesian Posterior for Singular Learning Machines (2008)
  • 著者名/発表者名: K. Nagata, S. Watanabe
  • 雑誌名: IEEE Transactions on Neural Networks Vol.19,No.7 ページ: 1253-1266
  • 査読あり
• [雑誌論文] Theory and Experiments of Exchange Ratio for Exchange Monte Carlo Method (2008)
  • 著者名/発表者名: K. Nagata, S. Watanabe
  • 雑誌名: Neural Information Processing - Letters and Reviews Vol.12,No.1-3 ページ: 21-30
  • 査読あり
• [雑誌論文] 特異モデルにおけるベイズ検定と時系列解析への応用 (2008)
  • 著者名/発表者名: 藤原香織, 渡辺澄夫
  • 雑誌名: 電子情報通信学会論文誌D VolumeJ91-D,No.4 ページ: 889-896
  • 査読あり
• [雑誌論文] Variational Bayes Solution of Linear Neural Networks and its Generalization Performance (2007)
  • 著者名/発表者名: S. Nakajima, S. Watanabe
  • 雑誌名: Neural Computation vol.19,no.4 ページ: 1112-1153
  • 査読あり
• [雑誌論文] Estimating the Data Region Using Minimum and Maximum Values (2007)
  • 著者名/発表者名: K. Watanabe, S. Watanabe
  • 雑誌名: Interdisciplinary Information Sciences Vol.13,No.2 ページ: 151-161
  • 査読あり
• [雑誌論文] Stochastic complexity for mixture of exponential families in generalized variational Bayes (2007)
  • 著者名/発表者名: K. Watanabe, S. Watanabe
  • 雑誌名: Theoretical Computer Science Vol.387 ページ: 4-17
  • 査読あり
• [雑誌論文] Stochastic complexities of gaussian mixtures in variational bayesian approximation (2006)
  • 著者名/発表者名: K. Watanabe, S. Watanabe
  • 雑誌名: Journal of Machine Learning Research Vol.7 ページ: 625-644
  • 査読あり
• [雑誌論文] Generalization Performance of Subspace Bayes Approach in Linear Neural Networks (2006)
  • 著者名/発表者名: S. Nakajima, S. Watanabe
  • 雑誌名: IEICE Transactions Vol.E89-D,no.3 ページ: 1128-1138
  • 査読あり
• [雑誌論文] 完全2部グラフ型ボルツマンマシンの平均場近似による確率的複雑さについて (2006)
  • 著者名/発表者名: 西山悠, 渡辺澄夫
  • 雑誌名: 電子情報通信学会論文誌 Vol.J89-A,no.8 ページ: 671-678
  • 査読あり
• [雑誌論文] 局所化ベイズ学習法 (2006)
  • 著者名/発表者名: 高松慎吾, 中島伸一, 渡辺澄夫
  • 雑誌名: 電子情報通信学会論文誌 Vol.J89-D-II,no.10 ページ: 2260-2268
  • 査読あり
• [雑誌論文] 隠れマルコフモデルの変分ベイズ学習における確率的複雑さについて (2006)
  • 著者名/発表者名: 星野力, 渡辺一帆, 渡辺澄夫
  • 雑誌名: 電子情報通信学会論文誌 Vol.J89-D-II,No.6 ページ: 1279-1287
  • 査読あり
• [学会発表] Optimal Hyperparameters for Generalized Learning and Knowledge Discovery in Variational Bayes (2009)
  • 著者名/発表者名: D. Kaji, S. Watanabe
  • 学会等名: International Conference on Neural Information Processing
  • 発表場所: Bangkok, Thailand
  • 年月日: 20091201-20091205
• [学会発表] A Singular limit theorem in statistical learning theory (2009)
  • 著者名/発表者名: S. Watanabe
  • 学会等名: Mathematical Quantum Field Theory and Renormalization Theory
  • 発表場所: Kyushu Univ
  • 年月日: 20091126-20091129
• [学会発表] Determining the Number of the Components of Gaussian Mixture Models by Bayesian Hypothesis Testing (2009)
  • 著者名/発表者名: K. Fujiwara, S. Watanabe
  • 学会等名: The 12th IASTED International Conference on Intelligent systems and control
  • 発表場所: Cambridge, Massachusetts, USA
  • 年月日: 20091102-20091104
• [学会発表] Generalization Error by Langevin Equation in Singular Learning Machines (2009)
  • 著者名/発表者名: T. Iwagaki, S. Watanabe
  • 学会等名: International Symposium on Nonlinear Theory and its Applications
  • 発表場所: Sapporo, Japan
  • 年月日: 20091018-20091021
• [学会発表] Phase Transition of Generalization Errors in Variational Bayes Learning (2009)
  • 著者名/発表者名: S. Oyama, S. Watanabe
  • 学会等名: International Symposium on Nonlinear Theory and its Applications
  • 発表場所: Sapporo, Japan
  • 年月日: 20091018-20091021
• [学会発表] Algebraic geometrical method in singular statistical estimation (2008)
  • 著者名/発表者名: S. Watanabe
  • 学会等名: Algebraic Statistics, Mathematical Sciences Research Institute, Univesity of California
  • 発表場所: Berkeley, USA
  • 年月日: 20081215-20081218
• [学会発表] An Analysis of Generalization Error in Relevant Subtask Learning (2008)
  • 著者名/発表者名: K. Yamazaki, S. Kaski
  • 学会等名: International Conference on Neural Information Processing of the Asia- Pacific Neural Network Assembly
  • 発表場所: Auckland, New Zealand
  • 年月日: 20081125-20081128
• [学会発表] Design of Exchange Monte Carlo Method for Bayesian Learning in Normal Mixture Models (2008)
  • 著者名/発表者名: K. Nagata, S. Watanabe
  • 学会等名: International Conference on Neural Information Processing of the Asia-Pacific Neural Network Assembly
  • 発表場所: Auckland, New Zealand
  • 年月日: 20081125-20081128
• [学会発表] Model Selection Method for AdaBoost Using Formal Information Criteria (2008)
  • 著者名/発表者名: D. Kaji, S. Watanabe
  • 学会等名: International Conference on Neural Information Processing of the Asia- Pacific Neural Network Assembly
  • 発表場所: Auckland, New Zealand
  • 年月日: 20081125-20081128
• [学会発表] Experimental Study of Ergodic Learning Curve in Hidden Markov Models (2008)
  • 著者名/発表者名: M. Matsumoto, S. Watanabe
  • 学会等名: International Conference on Neural Information Processing of the Asia-Pacific Neural Network Assembly
  • 発表場所: Auckland, New Zealand
  • 年月日: 20081125-20081128
• [学会発表] Algebraic Geometry, Empirical Process, and Singular Model Evaluation (2008)
  • 著者名/発表者名: S. Watanabe
  • 学会等名: Algebraic Methods in Systems Biology and Statistics
  • 発表場所: Research Triangle Park, NC, USA
  • 年月日: 20080914-20080917
• [学会発表] Weighted Blowups of Kullback Information and Application to Multinomial Distributions (2008)
  • 著者名/発表者名: T. Matsuda, S. Watanabe
  • 学会等名: Proceedings of International Symposium on Nonlinear Theory and Its Applications
  • 発表場所: Budapest, Republic of Hungary
  • 年月日: 20080907-20080910
• [学会発表] Generalization of Concave and Convex Decomposition in Kikuchi Free Energy (2008)
  • 著者名/発表者名: Y. Nishiyama, S. Watanabe
  • 学会等名: International Conference on Artificial Neural Networks
  • 発表場所: Czech Republic
  • 年月日: 20080903-20080906
• [学会発表] On the Minima of Bethe Free Energy in Gaussian Distributions (2008)
  • 著者名/発表者名: Y. Nishiyama, S. Watanabe
  • 学会等名: Proceedings of International Conference on Artificial Intelligence and Softcomputing
  • 発表場所: Palma de Mallorca, Spain
  • 年月日: 20080901-20080903
• [学会発表] What we can estimate about singularity from random samples (2008)
  • 著者名/発表者名: S. Watanabe
  • 学会等名: Seasonal Institute of the mathematical society of Japan, Kyoto, Japan
  • 発表場所: Kyoto, Japan
  • 年月日: 20080728-20080808
• [学会発表] A foumula of equations of states in singular learning machines (2008)
  • 著者名/発表者名: S. Watanabe
  • 学会等名: IEEE World Congress in Computational Intelligence
  • 発表場所: Hong kong, China
  • 年月日: 20080601-20080606
• [学会発表] Experimental Bayesian generalization error of nonregular models in covariate shift (2007)
  • 著者名/発表者名: K. Yamazaki, S. Watanabe
  • 学会等名: Proc. of ICONIP2007
  • 発表場所: Kitakyushu, Japan
  • 年月日: 20071113-20071116
• [学会発表] Experimental Analysis of Exchange Ratio in Exchange Monte Carlo Method (2007)
  • 著者名/発表者名: Kenji Nagata, S. Watanabe
  • 学会等名: Proc. of ICONIP2007
  • 発表場所: Kitakyushu, Japan
  • 年月日: 20071113-20071106
• [学会発表] Estimation of Poles of Zeta Function in Learning Theory Using Pade Approximation (2007)
  • 著者名/発表者名: R. Iriguchi, S. Watanabe
  • 学会等名: Proc. of ICANN
  • 発表場所: Porto, Portugal
  • 年月日: 20070919-20070913
• [学会発表] Generalization Error of Automatic Relevance Determination (2007)
  • 著者名/発表者名: S. Nakajima, S. Watanabe
  • 学会等名: Proc. of ICANN, 2007
  • 発表場所: Porto, Portugal
  • 年月日: 20070909-20070913
• [学会発表] On a Singular Point to Contribute to a Learning Coefficient and Weighted Resolution of Singularities (2007)
  • 著者名/発表者名: T. Matsuda, S. Watanabe
  • 学会等名: Proc. of ICANN
  • 発表場所: Porto, Portugal
  • 年月日: 20070909-20070913
• [学会発表] Theoretical Analysis of Accuracy of Gaussian Belief Propagation (2007)
  • 著者名/発表者名: Y. Nishiyama, S. Watanabe
  • 学会等名: Proc. of ICANN
  • 発表場所: Porto, Portugal
  • 年月日: 20070909-20070913
• [学会発表] Algebraic Geometric Study of Exchange Monte Carlo Method (2007)
  • 著者名/発表者名: K. Nagata, S. Watanabe
  • 学会等名: Proc. of ICANN
  • 発表場所: Porto, Portugal
  • 年月日: 20070909-20070913
• [学会発表] Resolution of Singularities and Stochastic Complexity of Complete Bipartite Graph-Type Spin Model in Bayesian Estimation (2007)
  • 著者名/発表者名: M. Aoyagi, S. Watanabe
  • 学会等名: Proc. of MDAI
  • 発表場所: Kitakyushu, Japan
  • 年月日: 20070816-20070818
• [学会発表] Asymptotic Bayesian Generalization Error When Training and Test Distributions Are Different (2007)
  • 著者名/発表者名: K. Yamazaki, M. Kawanabe, S. Watanabe, M. Sugiyama, K. -R. Muller
  • 学会等名: Proc. of ICML
  • 発表場所: Corvallis, Oregon, USA
  • 年月日: 20070620-20070624
• [学会発表] Analysis of Exchange Ratio for Exchange Monte Carlo Method (2007)
  • 著者名/発表者名: K. Nagata, S. Watanabe
  • 学会等名: Proc. of FOCI2007
  • 発表場所: Honolulu, Hawaii
  • 年月日: 20070401-20070405
• [学会発表] Almost All Learning Machines are Singular (2007)
  • 著者名/発表者名: S. Watanabe
  • 学会等名: Proc. of FOCI
  • 発表場所: Honolulu, Hawaii
  • 年月日: 20070401-20070405
• [学会発表] Generalization Error of Three Layered Learning Model in Bayesian Estimation (2006)
  • 著者名/発表者名: M. Aoyagi, S. Watanabe
  • 学会等名: Proc. of the 2nd IASTED International Conference on Computational Intelligence
  • 発表場所: San Francisco, California, USA
  • 年月日: 20061120-20061122
• [学会発表] Free Energy of Stochastic Context Free Grammar on Variational Bayes (2006)
  • 著者名/発表者名: T. Hosino, K. Watanabe, S. Watanabe
  • 学会等名: Proc. of ICONIP
  • 発表場所: Honkong, China
  • 年月日: 20061003-20061006
• [学会発表] Localized Bayes Estimation for Non-identifiable Models (2006)
  • 著者名/発表者名: S. Takamatsu, S. Nakajima, S. Watanabe
  • 学会等名: Proc. of International Conference on Neural Information Processing
  • 発表場所: Honkong, China
  • 年月日: 20061003-20061006
• [学会発表] Asymptotic Behavior of Stochastic Complexity of Complete Bipartite Graph-Type Boltzmann Machines (2006)
  • 著者名/発表者名: Yu Nishiyama, S. Watanabe
  • 学会等名: Proc. of ICONIP
  • 発表場所: Honkong, China
  • 年月日: 20061003-20061006
• [学会発表] Upper bounds for variational stochastic complexities of Bayesian networks (2006)
  • 著者名/発表者名: K. Watanabe, M. Shiga, S. Watanabe
  • 学会等名: Proc. of International Conference on Intelligent Data Engineering and Automated Learning
  • 発表場所: Burgos, Spain
  • 年月日: 20060920-20060926
• [学会発表] Generalization Performance of Exchange Monte Carlo Method for Normal Mixture Models (2006)
  • 著者名/発表者名: K. Nagata, S. Watanabe
  • 学会等名: Proc. of 7th International Conference on Intelligent Data Engineering and Automated Learning
  • 発表場所: Burgos, Spain
  • 年月日: 20060920-20060923
• [学会発表] A Model Selection Method Based on Bound of Learning Coefficient (2006)
  • 著者名/発表者名: K. Yamazaki, K. Nagata, S. Watanabe, Klaus-Robert Muller
  • 学会等名: Proc. of ICANN
  • 発表場所: Athens, Greece
  • 年月日: 20060910-20091014
• [学会発表] Analytic Solution of Hierarchical Variational Bayes in Linear Inverse Problem (2006)
  • 著者名/発表者名: S. Nakajima, S. Watanabe
  • 学会等名: Proc. of International Conference on Artificial Neural Networks
  • 発表場所: Athens, Greece
  • 年月日: 20060910-20091014
• [学会発表] Analytic Equivalence of Bayes a Posteriori Distributions (2006)
  • 著者名/発表者名: T. Matsuda, S. Watanabe
  • 学会等名: Proc. of ICANN
  • 発表場所: Athens, Greece
  • 年月日: 20060910-20090914
• [学会発表] The Exchange Monte Carlo Method for Bayesian Learning in Singular Learning Machines (2006)
  • 著者名/発表者名: K. Nagata, S. Watanabe
  • 学会等名: Proc. of IEEE World Congress on Computational Intelligence
  • 発表場所: Vancouver, Canada
  • 年月日: 20060716-20070721
• [図書] Algebraic Geometry and Statistical Learning Theory (2009)
  • 著者名/発表者名: Watanabe
  • 総ページ数: 1-286
  • 出版者: Cambridge University Press
• [備考]
  • URL: http://watanabe-www.pi.titech.ac.jp/~swatanab/index-j.html