特異的な学習モデルにおけるベイズ事後分布の最適実現法
Project/Area Number |
06J05809
|
Research Category |
Grant-in-Aid for JSPS Fellows
|
Allocation Type | Single-year Grants |
Section | 国内 |
Research Field |
Intelligent informatics
|
Research Institution | Tokyo Institute of Technology |
Principal Investigator |
永田 賢二 Tokyo Institute of Technology, 精密工学研究所, 特別研究員(PD)
|
Project Period (FY) |
2006 – 2008
|
Project Status |
Completed (Fiscal Year 2008)
|
Budget Amount *help |
¥2,700,000 (Direct Cost: ¥2,700,000)
Fiscal Year 2008: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2007: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2006: ¥900,000 (Direct Cost: ¥900,000)
|
Keywords | 機械学習 / 特異モデル / ベイズ学習 / ベイズ事後分布 / マルコフ連鎖モンテカルロ法 / 交換モンテカルロ法 / 平均交換率 / ギブスサンプラー / 対称カルバック距離 |
Research Abstract |
ニューラルネットワークや混合正規分布などの階層構造をもつ確率モデルは、特異モデルと呼ばれるクラスに属し、特異モデルにおける学習アルゴリズムとして、ベイズ学習が最尤法やMAP法に比べて予測性能に優れることが理論的に明らかにされている。しかしながら、ベイズ学習を行う上で必要となるベイズ事後分布による期待値計算は解析的に行うことができず、また、マルコフ連鎖モンテカルロ(MCMC)法による計算機を用いた手法でも、一般に計算量が膨大になり、その近似精度も不明である。特に、特異モデルにおいては事後分布の形状が複雑なため、これらの問題が顕著に現れることが知られている。 そこで、本研究では、特異モデルにおけるベイズ事後分布を最適に実現することを目的として、研究を行った。具体的な研究成果として、統計力学の分野で提案されたMCMC法の改良アルゴリズムである交換モンテカルロ法を特異モデルに用いることを提案し、その有効性を予測精度、及び、事後分布の近似精度から実験的に明らかにした。また、交換モンテカルロ法の設計の際に重要となる平均交換率の漸近挙動を理論的に導出し、平均交換率と対称カルバック距離との関係を明らかにし、それらの結果から最適な温度パラメータの設定法を提案した。さらに、混合正規分有において、ギブスサンプラーを用いた交換モンテカルロ法の新たなアルゴリズムを提案し、その有効性をサンプリングの精度と予測精度の二つの観点から実験的に明らかにした。
|
Report
(3 results)
Research Products
(18 results)