2006 Fiscal Year Annual Research Report
特異的な学習モデルにおけるベイズ事後分布の最適実現法
Project/Area Number |
06J05809
|
Research Institution | Tokyo Institute of Technology |
Principal Investigator |
永田 賢二 東京工業大学, 大学院総合理工学研究科, 特別研究員(DC1)
|
Keywords | 特異モデル / ベイズ学習 / ベイズ事後分布 / マルコフ連鎖モンテカルロ法 / 交換モンテカルロ法 / 対称カルバック距離 / 平均交換率 |
Research Abstract |
ニューラルネットワークや隠れマルコフモデルなどの階層的な構造をもつ学習モデルは特異モデルと呼ばれ、様々な応用に用いられている。これらの学習モデルに対しては、学習法として、ベイズ学習が予測に優れていることが明らかにされてきた。実際にベイズ学習を行う際には、ベイズ事後分布と呼ばれる確率分布の期待値計算を行う必要があるが、厳密に行うことが困難である。そこで、マルコフ連鎖モンテカルロ法(以下、MCMC法と略記する)を用いた近似計算が広く用いられているが、一般に特異モデルに対するベイズ事後分布が複雑になってしまうことから、計算量が膨大になってしまうという問題があった。 そこで、本年度前半の研究では、従来のMCMC法の拡張アルゴリズムとして提案されていた交換モンテカルロ法と呼ばれるアルゴリズムを特異モデルのベイズ学習に適用することを提案し、確率的複雑さと呼ばれる関数を数値計算し、理論値との比較により本手法の有効性を明らかにした。また、特異モデルの一つとして知られる混合正規分布のベイズ学習に交換モンテカルロ法を適用し、その予測精度を実験的に明らかにし、さらにSing.I.C.とよばれる特異モデルのモデル選択法に応用した。 本年度の後半には、交換モンテカルロ法の設計に関する理論解析の研究を行った。実際に交換モンテカルロ法を実装する際に、温度パラメータとよばれるパラメータの設定が重要である。しかしながら、その設定に関する数学的な基盤が確立されていなかったため、事前実験によりいくつかの統計量を観測することで調節するということをしなければならなかった。本研究では、温度パラメータの設定と深いかかわりを持つ2つの確率分布間の対称カルバック距離と平均交換率と呼ばれる2つの関数を低温極限状態の場合において解析的に明らかにした。また、その結果から最適な温度パラメータの設定法を提案した。
|
Research Products
(6 results)