非正則な確率推論モデルのための最適学習アルゴリズム

• 研究課題/領域番号: 04J04637
• 研究種目: 特別研究員奨励費
• 配分区分: 補助金
• 応募区分: 国内
• 研究分野: 知能情報学
• 研究機関: 東京工業大学
• 研究代表者: 渡辺 一帆 東京工業大学, 大学院総合理工学研究科, 特別研究員(PD)
• 研究期間 (年度): 2004 – 2006
• 研究課題ステータス: 完了 (2006年度)
• 配分額: 2,500千円 (直接経費: 2,500千円); 2006年度: 800千円 (直接経費: 800千円); 2005年度: 800千円 (直接経費: 800千円); 2004年度: 900千円 (直接経費: 900千円)
• キーワード: 学習理論 / 非正則モデル / 変分ベイズ法 / 確率的複雑さ / ベイジアンネットワーク / 近似精度 / 予測精度 / 混合分布モデル / 混合正規分布

研究概要

パラメータが識別不能であるような非正則な学習モデルにおいてはベイズ法による学習が有効であることが知られている。ベイズ法を実現するためにはパラメータの事後分布を生成する必要があるが、事後分布の計算には高次元積分が必要となるために、様々な近似法が提案されてきた。その一つの方法として、変分ベイズ法があるが、その有用性にもかかわらず、変分ベイズ法の理論的な性質は明らかにされてこなかった。また、実際の変分ベイズ法の学習アルゴリズムは繰り返し法を用いているために、局所解への収束といった問題があり、その性質はあまり明らかにされてこなかった。ベイズ法においては確率的複雑さが重要な量であり、近年いくつかの非正則な学習モデルについてもベイズ法における確率的複雑さが理論的に明らかにされてきた。その結果、確率的複雑さを比較することで、変分ベイズ法を始めとした種々の近似法の精度について議論できるようになった。
これまでの研究により、混合分布モデルの変分ベイズ法における確率的複雑さの理論的振る舞いが明らかにされている。混合分布モデルは一つの隠れ変数を持つベイジアンネットワークで表すことができる。本年度はこれまでの結果を、複数の隠れ変数を持つ一般のベイジアンネットワークの場合に拡張することで、変分ベイズ法の近似法としての精度や、変分ベイズ法における事前分布の影響などの性質が明らかにされた。
変分ベイズ学習では近似分布から事後分布までのカルバック情報量最小化が行なわれる。本研究ではさらに、事後分布からみた近似分布までのカルバック情報量を最小にする近似法について考察し、二つの近似法の比較を行なった。非正則モデルのベイズ学習について、近似事後分布の広がりの大きさや近似精度の評価を行ない、この両者の相違を示した。

研究成果

• [雑誌論文] Stochastic complexities of general mixture models in variational Bayesian leaning (2007)
  • 著者名/発表者名: K.Watanabe, S.Watanabe
  • 雑誌名: Neural Networks 20・2 ページ: 210-219
• [雑誌論文] 情報量の測り方による近似事後分布の性質の相違について (2007)
  • 著者名/発表者名: 渡辺一帆, 渡辺澄夫
  • 雑誌名: 電子情報通信学会技術研究報告 106・588 ページ: 97-102
  • NAID: 110006249033
• [雑誌論文] Stochastic complexity for mixture of exponential families in generalized variational Bayes (2007)
  • 著者名/発表者名: K.Watanabe, S.Watanabe
  • 雑誌名: Theoretical Computer Science (採録決定)(印刷中)
• [雑誌論文] Estimating the data region using minimum and maximum values (2007)
  • 著者名/発表者名: K.Watanabe, S.Watanabe
  • 雑誌名: Interdisciplinary Information Sciences (採録決定)(印刷中)
• [雑誌論文] Stochastic complexities of Gaussian mixtures in variational Bayesian approximation (2006)
  • 著者名/発表者名: K.Watanabe, S.Watanabe
  • 雑誌名: Journal of Machine Learning Research 7 ページ: 625-644
• [雑誌論文] 隠れマルコフモデルの変分ベイズ学習における確率的複雑さについて (2006)
  • 著者名/発表者名: 星野力, 渡辺一帆, 渡辺澄夫
  • 雑誌名: 電子情報通信学会論文誌 J89-D・6 ページ: 1279-1287
  • NAID: 110007385844
• [雑誌論文] Upper bounds for variational stochastic complexities of Bayesian networks (2006)
  • 著者名/発表者名: K.Watanabe, M.Shiga, S.Watanabe
  • 雑誌名: Proceedings of International Conference on Intelligent Data Engineering and Automated Learning(IDEAL2006) ページ: 139-146
• [雑誌論文] Free energy of stochastic context free grammar on variational Bayes (2006)
  • 著者名/発表者名: T.Hosino, K.Watanabe, S.Watanabe
  • 雑誌名: Proceedings of International Conference on Neural Information Processing (ICONIP2006) ページ: 407-416
• [雑誌論文] 隠れマルコフモデルの変分ベイズ推定における確率的複雑さについて (2005)
  • 著者名/発表者名: 星野力, 渡辺一帆, 渡辺澄夫
  • 雑誌名: 電子情報通信学会技術研究報告 NC2004-225 ページ: 189-194
  • NAID: 110003234211
• [雑誌論文] 混合指数型分布の変分ベイズ学習における確率的複雑さ (2005)
  • 著者名/発表者名: 渡辺一帆, 渡辺澄夫
  • 雑誌名: 電子情報通信学会技術研究報告 NC2004-211 ページ: 105-110
  • NAID: 110003234197
• [雑誌論文] 確率的文脈自由文法の変分ベイズ学習における確率的複雑さについて (2005)
  • 著者名/発表者名: 星野力, 渡辺一帆, 渡辺澄夫
  • 雑誌名: 電子情報通信学会技術研究報告 NC2005-50 ページ: 25-30
• [雑誌論文] Stochastic Complexity of Variational Bayesian Hidden Markov Models (2005)
  • 著者名/発表者名: T.Hosino, K.Watanabe, S.Watanabe
  • 雑誌名: Proceedings of International Joint Conference on Neural Networks 2005(IJCNN05) Vol.2 ページ: 1114-1119
• [雑誌論文] Stochastic complexity for mixture of exponential families in variational bayes (2005)
  • 著者名/発表者名: K.Watanabe, S.Watanabe
  • 雑誌名: Proceedings of the 16th International Conference on Algorithmic Learning Theory(ALT2005) ページ: 107-121
• [雑誌論文] On variational bayes algorithms for exponential family mixtures (2005)
  • 著者名/発表者名: K.Watanabe, S.Watanabe
  • 雑誌名: Proceedings of International Symposium on Nonlinear Theory and its Applications (NOLTA2005) ページ: 393-396
• [雑誌論文] Variational bayesian algorithm and stochastic complexity for mixture models (2005)
  • 著者名/発表者名: K.Watanabe, S.Watanabe
  • 雑誌名: Proceedings of International Conference on Neural Information Processing (ICONIP2005) ページ: 338-342
• [雑誌論文] 変分ベイズ学習理論入門 (2005)
  • 著者名/発表者名: 渡辺澄夫, 渡辺一帆, 中島伸一, 星野力
  • 雑誌名: 情報論的学習理論予稿集 Vol.8 ページ: 275-280
• [雑誌論文] 混合分布における変分ベイズ学習の理論と実験の比較 (2005)
  • 著者名/発表者名: 渡辺一帆, 渡辺澄夫
  • 雑誌名: 情報論的学習理論予稿集 Vol.8 ページ: 93-98
• [雑誌論文] Estimation of the data region using extremevalue distributions (2004)
  • 著者名/発表者名: Kazuho Watanabe, Sumio Watanabe
  • 雑誌名: Proceedings of the 15th International Conference, on Algorithmic Learning Theory (ALT2004 ページ: 206-220
• [雑誌論文] Learning method of the data region based on extremevalue theory (2004)
  • 著者名/発表者名: Kazuho Watanabe, Sumio Watanabe
  • 雑誌名: Proceedings of International Symposium on Information Theory and its Applications (ISITA2004 ページ: 87-92
• [雑誌論文] 変分ベイズ法による混合正規分布モデルの学習における確率的複雑さについて (2004)
  • 著者名/発表者名: 渡辺一帆, 渡辺澄夫
  • 雑誌名: 電子情報通信学会技術研究報告 Vol.104 No.225 ページ: 57-62
  • NAID: 110003234064
• [雑誌論文] 混合正規分布の変分ベイズ学習における確率的複雑さについて (2004)
  • 著者名/発表者名: 渡辺一帆, 渡辺澄夫
  • 雑誌名: 情報論的学習理論予稿集 Vol.7 ページ: 259-265
• [雑誌論文] Lower bounds of stochastic complexities in variational bayes learning of gaussian mixture models (2004)
  • 著者名/発表者名: Kazuho Watanabe, Sumio Watanabe
  • 雑誌名: Proceedings of IEEE conference on Cybernetics and Intelligent Systems (CISO4) ページ: 99-104
• [雑誌論文] 隠れマルコフモデルの変分ベイズ学習における確率的複雑さについて
  • 著者名/発表者名: 星野力, 渡辺一帆, 渡辺澄夫
  • 雑誌名: 電子情報通信学会論文誌DII (採録決定)
  • NAID: 110007385844