2004 Fiscal Year Annual Research Report
非正則な確率推論モデルのための最適学習アルゴリズム
Project/Area Number |
04J04637
|
Research Institution | Tokyo Institute of Technology |
Principal Investigator |
渡辺 一帆 東京工業大学, 大学院・総合理工学研究科, 特別研究員(DC1)
|
Keywords | 学習理論 / 非正則モデル / 予測精度 / 混合正規分布 / 確率的複雑さ / 変分ベイズ法 |
Research Abstract |
これまでの研究で、1次元確率分布の台を推定する非正則な確率モデルの推定精度の解析を行ない、予測精度を最適にするような推定方法が構成された。このアルゴリズムを計算機上に実装し、シミュレーションを行い本手法の有効性を検証した。 またパラメータが識別不能であるような非正則な学習モデルにおいてはベイズ法による学習が有効であることが知られている。ベイズ法を実現するためにはパラメータの事後分布を生成する必要があるが、事後分布の計算には高次元積分が必要となるために、様々な近似法が提案されてきた。その一つの方法として、変分ベイズ法があるが、その有用性にもかかわらず、変分ベイズ法の理論的な性質は明らかにされてこなかった。 ベイズ法においては確率的複雑さが重要な量であり、近年いくつかの非正則な学習モデルについてもベイズ法における確率的複雑さが理論的に明らかにされてきた。その結果、確率的複雑さを比較することで、変分ベイズ法を始めとした種々の近似法の精度について議論できるようになった。 本研究では変分ベイズ法とともに広く用いられている混合正規分布に注目し、変分ベイズ法における確率的複雑さの下界を明らかにした。 混合正規分布は非正則モデルの一つであるが、本研究の結果得られた確率的複雑さをベイズ法の理論的な上限値と比較することで、変分ベイズ法の近似法としての精度が理論的に明らかにされた。また、この結果により、混合正規分布の変分ベイズ法における事前分布の影響などの性質が明らかになった。
|
Research Products
(5 results)