2007 Fiscal Year Annual Research Report
特異的な学習モデルにおけるベイズ事後分布の最適実現法
Project/Area Number |
06J05809
|
Research Institution | Tokyo Institute of Technology |
Principal Investigator |
永田 賢二 Tokyo Institute of Technology, 大学院・総合理工学研究科, 特別研究員(DC1)
|
Keywords | 特異モデル / ベイズ学習 / ベイズ事後分布 / マルコフ連鎖モンテカルロ法 / 交換モンテカルロ法 / 平均交換率 / ギブスサンプラー |
Research Abstract |
ニューラルネットワークや隠れマルコフモデルなどの階層構造をもつ学習モデルは特異モデルと呼ばれ、様々な応用に用いられている。これらの学習モデルに対する学習法として、ベイズ学習が予測に優れていることが理論的に明らかにされている。一方で、ベイズ学習を行う際には、ベイズ事後分布についての期待値計算が必要になり、マルコフ連鎖モンテカルロ(MCMC)法と呼ばれる手法を用いる必要があるが、特異モデルにおいては、ベイズ事後分布の形状が複雑になることから、MCMC法の効率が悪化することが知られていた。そこで、前年度の研究では、従来のMCMC法の拡張アルゴリズムとして提案されている交換モンテカルロ法を特異モデルのベイズ学習に適用することを提案し、その有効性を単純な特異モデルでのベイズ学習により実験的に明らかにした。また、交換モンテカルロ法の設計の際に基準として用いられている平均交換率と呼ばれる関数を理論的に明らかにした。本年度の研究では、縮小ランク回帰モデルと呼ばれる特異モデルでのベイズ学習において、平均交換率の理論結果を実験的に検証し、得られた理論結果が交換モンテカルロ法の収束判定法の一つとして用いることができることを明らかにした。また、混合正規分布と呼ばれる学習モデルでのベイズ学習における交換モンテカルロ法の設計についての研究を行った。交換モンテカルロ法のアルゴリズムでは、従来のMCMC法を用いる必要があるが、これまでの研究では、メトロポリス法と呼ばれるアルゴリズムを用いた場合で実験を行ってきた。本年度では、ギブスサンプラーを用いた場合について実験を行い、平均交換率の挙動や予測精度、事後分布からのサンプル系列の挙動などに基づいた交換モンテカルロ法の設計法を提案した。
|
Research Products
(8 results)