• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

非正則な確率推論モデルのための最適学習アルゴリズム

Research Project

Project/Area Number 04J04637
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Intelligent informatics
Research InstitutionTokyo Institute of Technology

Principal Investigator

渡辺 一帆  東京工業大学, 大学院総合理工学研究科, 特別研究員(PD)

Project Period (FY) 2004 – 2006
Project Status Completed (Fiscal Year 2006)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2006: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2005: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2004: ¥900,000 (Direct Cost: ¥900,000)
Keywords学習理論 / 非正則モデル / 変分ベイズ法 / 確率的複雑さ / ベイジアンネットワーク / 近似精度 / 予測精度 / 混合分布モデル / 混合正規分布
Research Abstract

パラメータが識別不能であるような非正則な学習モデルにおいてはベイズ法による学習が有効であることが知られている。ベイズ法を実現するためにはパラメータの事後分布を生成する必要があるが、事後分布の計算には高次元積分が必要となるために、様々な近似法が提案されてきた。その一つの方法として、変分ベイズ法があるが、その有用性にもかかわらず、変分ベイズ法の理論的な性質は明らかにされてこなかった。また、実際の変分ベイズ法の学習アルゴリズムは繰り返し法を用いているために、局所解への収束といった問題があり、その性質はあまり明らかにされてこなかった。ベイズ法においては確率的複雑さが重要な量であり、近年いくつかの非正則な学習モデルについてもベイズ法における確率的複雑さが理論的に明らかにされてきた。その結果、確率的複雑さを比較することで、変分ベイズ法を始めとした種々の近似法の精度について議論できるようになった。
これまでの研究により、混合分布モデルの変分ベイズ法における確率的複雑さの理論的振る舞いが明らかにされている。混合分布モデルは一つの隠れ変数を持つベイジアンネットワークで表すことができる。本年度はこれまでの結果を、複数の隠れ変数を持つ一般のベイジアンネットワークの場合に拡張することで、変分ベイズ法の近似法としての精度や、変分ベイズ法における事前分布の影響などの性質が明らかにされた。
変分ベイズ学習では近似分布から事後分布までのカルバック情報量最小化が行なわれる。本研究ではさらに、事後分布からみた近似分布までのカルバック情報量を最小にする近似法について考察し、二つの近似法の比較を行なった。非正則モデルのベイズ学習について、近似事後分布の広がりの大きさや近似精度の評価を行ない、この両者の相違を示した。

Report

(3 results)
  • 2006 Annual Research Report
  • 2005 Annual Research Report
  • 2004 Annual Research Report
  • Research Products

    (23 results)

All 2007 2006 2005 2004 Other

All Journal Article (23 results)

  • [Journal Article] Stochastic complexities of general mixture models in variational Bayesian leaning2007

    • Author(s)
      K.Watanabe, S.Watanabe
    • Journal Title

      Neural Networks 20・2

      Pages: 210-219

    • Related Report
      2006 Annual Research Report
  • [Journal Article] 情報量の測り方による近似事後分布の性質の相違について2007

    • Author(s)
      渡辺一帆, 渡辺澄夫
    • Journal Title

      電子情報通信学会技術研究報告 106・588

      Pages: 97-102

    • NAID

      110006249033

    • Related Report
      2006 Annual Research Report
  • [Journal Article] Stochastic complexity for mixture of exponential families in generalized variational Bayes2007

    • Author(s)
      K.Watanabe, S.Watanabe
    • Journal Title

      Theoretical Computer Science (採録決定)(印刷中)

    • Related Report
      2006 Annual Research Report
  • [Journal Article] Estimating the data region using minimum and maximum values2007

    • Author(s)
      K.Watanabe, S.Watanabe
    • Journal Title

      Interdisciplinary Information Sciences (採録決定)(印刷中)

    • Related Report
      2006 Annual Research Report
  • [Journal Article] Stochastic complexities of Gaussian mixtures in variational Bayesian approximation2006

    • Author(s)
      K.Watanabe, S.Watanabe
    • Journal Title

      Journal of Machine Learning Research 7

      Pages: 625-644

    • Related Report
      2006 Annual Research Report
  • [Journal Article] 隠れマルコフモデルの変分ベイズ学習における確率的複雑さについて2006

    • Author(s)
      星野力, 渡辺一帆, 渡辺澄夫
    • Journal Title

      電子情報通信学会論文誌 J89-D・6

      Pages: 1279-1287

    • NAID

      110007385844

    • Related Report
      2006 Annual Research Report
  • [Journal Article] Upper bounds for variational stochastic complexities of Bayesian networks2006

    • Author(s)
      K.Watanabe, M.Shiga, S.Watanabe
    • Journal Title

      Proceedings of International Conference on Intelligent Data Engineering and Automated Learning(IDEAL2006)

      Pages: 139-146

    • Related Report
      2006 Annual Research Report
  • [Journal Article] Free energy of stochastic context free grammar on variational Bayes2006

    • Author(s)
      T.Hosino, K.Watanabe, S.Watanabe
    • Journal Title

      Proceedings of International Conference on Neural Information Processing (ICONIP2006)

      Pages: 407-416

    • Related Report
      2006 Annual Research Report
  • [Journal Article] 隠れマルコフモデルの変分ベイズ推定における確率的複雑さについて2005

    • Author(s)
      星野力, 渡辺一帆, 渡辺澄夫
    • Journal Title

      電子情報通信学会技術研究報告 NC2004-225

      Pages: 189-194

    • NAID

      110003234211

    • Related Report
      2005 Annual Research Report
  • [Journal Article] 混合指数型分布の変分ベイズ学習における確率的複雑さ2005

    • Author(s)
      渡辺一帆, 渡辺澄夫
    • Journal Title

      電子情報通信学会技術研究報告 NC2004-211

      Pages: 105-110

    • NAID

      110003234197

    • Related Report
      2005 Annual Research Report
  • [Journal Article] 確率的文脈自由文法の変分ベイズ学習における確率的複雑さについて2005

    • Author(s)
      星野力, 渡辺一帆, 渡辺澄夫
    • Journal Title

      電子情報通信学会技術研究報告 NC2005-50

      Pages: 25-30

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Stochastic Complexity of Variational Bayesian Hidden Markov Models2005

    • Author(s)
      T.Hosino, K.Watanabe, S.Watanabe
    • Journal Title

      Proceedings of International Joint Conference on Neural Networks 2005(IJCNN05) Vol.2

      Pages: 1114-1119

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Stochastic complexity for mixture of exponential families in variational bayes2005

    • Author(s)
      K.Watanabe, S.Watanabe
    • Journal Title

      Proceedings of the 16th International Conference on Algorithmic Learning Theory(ALT2005)

      Pages: 107-121

    • Related Report
      2005 Annual Research Report
  • [Journal Article] On variational bayes algorithms for exponential family mixtures2005

    • Author(s)
      K.Watanabe, S.Watanabe
    • Journal Title

      Proceedings of International Symposium on Nonlinear Theory and its Applications (NOLTA2005)

      Pages: 393-396

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Variational bayesian algorithm and stochastic complexity for mixture models2005

    • Author(s)
      K.Watanabe, S.Watanabe
    • Journal Title

      Proceedings of International Conference on Neural Information Processing (ICONIP2005)

      Pages: 338-342

    • Related Report
      2005 Annual Research Report
  • [Journal Article] 変分ベイズ学習理論入門2005

    • Author(s)
      渡辺澄夫, 渡辺一帆, 中島伸一, 星野力
    • Journal Title

      情報論的学習理論予稿集 Vol.8

      Pages: 275-280

    • Related Report
      2005 Annual Research Report
  • [Journal Article] 混合分布における変分ベイズ学習の理論と実験の比較2005

    • Author(s)
      渡辺一帆, 渡辺澄夫
    • Journal Title

      情報論的学習理論予稿集 Vol.8

      Pages: 93-98

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Estimation of the data region using extremevalue distributions2004

    • Author(s)
      Kazuho Watanabe, Sumio Watanabe
    • Journal Title

      Proceedings of the 15th International Conference, on Algorithmic Learning Theory (ALT2004

      Pages: 206-220

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Learning method of the data region based on extremevalue theory2004

    • Author(s)
      Kazuho Watanabe, Sumio Watanabe
    • Journal Title

      Proceedings of International Symposium on Information Theory and its Applications (ISITA2004

      Pages: 87-92

    • Related Report
      2004 Annual Research Report
  • [Journal Article] 変分ベイズ法による混合正規分布モデルの学習における確率的複雑さについて2004

    • Author(s)
      渡辺一帆, 渡辺澄夫
    • Journal Title

      電子情報通信学会技術研究報告 Vol.104 No.225

      Pages: 57-62

    • NAID

      110003234064

    • Related Report
      2004 Annual Research Report
  • [Journal Article] 混合正規分布の変分ベイズ学習における確率的複雑さについて2004

    • Author(s)
      渡辺一帆, 渡辺澄夫
    • Journal Title

      情報論的学習理論予稿集 Vol.7

      Pages: 259-265

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Lower bounds of stochastic complexities in variational bayes learning of gaussian mixture models2004

    • Author(s)
      Kazuho Watanabe, Sumio Watanabe
    • Journal Title

      Proceedings of IEEE conference on Cybernetics and Intelligent Systems (CISO4)

      Pages: 99-104

    • Related Report
      2004 Annual Research Report
  • [Journal Article] 隠れマルコフモデルの変分ベイズ学習における確率的複雑さについて

    • Author(s)
      星野力, 渡辺一帆, 渡辺澄夫
    • Journal Title

      電子情報通信学会論文誌DII (採録決定)

    • NAID

      110007385844

    • Related Report
      2005 Annual Research Report

URL: 

Published: 2004-04-01   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi