2005 Fiscal Year Annual Research Report
非正則な確率推論モデルのための最適学習アルゴリズム
| Project/Area Number |
04J04637
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡辺 一帆 東京工業大学, 大学院・総合理工学研究科, 特別研究員(DC1)
|
|---|
| Keywords | 学習理論 / 非正則モデル / 予測精度 / 混合分布モデル / 確率的複雑さ / 変分ベイズ法 |
|---|
| Research Abstract |
パラメータが識別不能であるような非正則な学習モデルにおいてはベイズ法による学習が有効であることが知られている。ベイズ法を実現するためにはパラメータの事後分布を生成する必要があるが、事後分布の計算には高次元積分が必要となるために、様々な近似法が提案されてきた。その一つの方法として、変分ベイズ法があるが、その有用性にもかかわらず、変分ベイズ法の理論的な性質は明らかにされてこなかった。また、実際の変分ベイズ法の学習アルゴリズムは繰り返し法を用いているために、局所解への収束といった問題があり、その性質はあまり明らかにされてこなかった。
ベイズ法においては確率的複雑さが重要な量であり、近年いくつかの非正則な学習モデルについてもベイズ法における確率的複雑さが理論的に明らかにされてきた。その結果、確率的複雑さを比較することで、変分ベイズ法を始めとした種々の近似法の精度について議論できるようになった。本研究では変分ベイズ法とともに広く用いられている混合分布に注目し、変分ベイズ法における確率的複雑さの理論的振る舞いを明らかにした。これまでの研究で混合正規分布について得られていた結果を、一般の混合分布の場合に拡張することで、一般の混合分布モデルについて、変分ベイズ法の近似法としての精度や、変分ベイズ法における事前分布の影響などの性質が明らかにされた。この結果を導いた方法は、さらに隠れマルコフモデルや確率文脈自由文法の変分ベイズ学習における確率的複雑さの解明にも応用された。
また、混合正規分布の変分ベイズ学習のアルゴリズムを計算機上に実装し、確率的複雑さや汎化誤差を計算する数値実験を行った。その結果を、上記の理論的な結果と比較することで、実際の変分ベイズ学習の繰り返しアルゴリズムの性質が明らかにされた。
|
