2009 Fiscal Year Annual Research Report
確率的生成モデルにおけるノンパラメトリックベイズ学習と自然言語処理への応用
| Project/Area Number |
08J07036
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 一誠 The University of Tokyo, 情報基盤センター, 特別研究員(DC1)
|
|---|
| Keywords | 量子系 / 確率的生成モデル / ベイズ学習 / 変分ベイズ / Latent Dirichlet Allocation |
|---|
| Research Abstract |
離散的な隠れ状態をもつ確率的生成モデルにおいて量子揺らぎを導入する学習方法を提案した.提案手法では,変分ベイズ法を量子系に拡張することにより,従来の確率モデルに対し量子効果を導入することができる.
教師なし学習は,EMアルゴリズムに代表されるように反復を繰り返すことで学習が進むアルゴリズムである.確率モデルでは,隠れ変数に対して確率分布を考え,この確率分布を推定することが重要である.特に,クラスタリングなどの問題の場合,隠れ変数は離散的な値を取る.本研究では,この離散的な隠れ変数が量子状態を取ると仮定し,確率モデルを量子系に拡張し学習を行う.ただし機械学習の場合,現実的に,古典計算上で学習可能な手法であることが重要である.本手法は,量子系に拡張した確率モデルを,鈴木トロッター展開という量子物理で発展してきた数学の技術を用いて古典系に近似することで,古典計算機上で利用可能なアルゴリズムである.本研究では,Latent Dirichlet Allocation(LDA)と呼ばれる自然言語処理で幅広く用いられる文書の確率的生成モデルを用いて現実の文書データに対して適用し、その効果を確認した.LDAを変分ベイズで学習する場合,局所最適解に陥るという問題がある.しかし,量子系に拡張することで,量子揺らぎ、あるいわ量子トンネル効果と呼ばれる現象により局所最適解からよりよい最適解へと状態を変えることができることがわかった.これにより従来手法では見つけることができなかった解に効率的に到達することができるようになった.
|
