研究課題/領域番号 |
06J05809
|
研究種目 |
特別研究員奨励費
|
配分区分 | 補助金 |
応募区分 | 国内 |
研究分野 |
知能情報学
|
研究機関 | 東京工業大学 |
研究代表者 |
永田 賢二 東京工業大学, 精密工学研究所, 特別研究員(PD)
|
研究期間 (年度) |
2006 – 2008
|
研究課題ステータス |
完了 (2008年度)
|
配分額 *注記 |
2,700千円 (直接経費: 2,700千円)
2008年度: 900千円 (直接経費: 900千円)
2007年度: 900千円 (直接経費: 900千円)
2006年度: 900千円 (直接経費: 900千円)
|
キーワード | 機械学習 / 特異モデル / ベイズ学習 / ベイズ事後分布 / マルコフ連鎖モンテカルロ法 / 交換モンテカルロ法 / 平均交換率 / ギブスサンプラー / 対称カルバック距離 |
研究概要 |
ニューラルネットワークや混合正規分布などの階層構造をもつ確率モデルは、特異モデルと呼ばれるクラスに属し、特異モデルにおける学習アルゴリズムとして、ベイズ学習が最尤法やMAP法に比べて予測性能に優れることが理論的に明らかにされている。しかしながら、ベイズ学習を行う上で必要となるベイズ事後分布による期待値計算は解析的に行うことができず、また、マルコフ連鎖モンテカルロ(MCMC)法による計算機を用いた手法でも、一般に計算量が膨大になり、その近似精度も不明である。特に、特異モデルにおいては事後分布の形状が複雑なため、これらの問題が顕著に現れることが知られている。 そこで、本研究では、特異モデルにおけるベイズ事後分布を最適に実現することを目的として、研究を行った。具体的な研究成果として、統計力学の分野で提案されたMCMC法の改良アルゴリズムである交換モンテカルロ法を特異モデルに用いることを提案し、その有効性を予測精度、及び、事後分布の近似精度から実験的に明らかにした。また、交換モンテカルロ法の設計の際に重要となる平均交換率の漸近挙動を理論的に導出し、平均交換率と対称カルバック距離との関係を明らかにし、それらの結果から最適な温度パラメータの設定法を提案した。さらに、混合正規分有において、ギブスサンプラーを用いた交換モンテカルロ法の新たなアルゴリズムを提案し、その有効性をサンプリングの精度と予測精度の二つの観点から実験的に明らかにした。
|