2005 Fiscal Year Annual Research Report
混合ディリクレ分布を用いたトピックモデルによる統計的言語モデルの高度化とその応用
| Project/Area Number |
17500105
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
山本 幹雄 筑波大学, 大学院・システム情報工学研究科, 助教授 (40210562)
|
|---|
| Keywords | 統計的言語モデル / 混合ディリクレ分布 / トピックモデル / ベイズモデル / 音声認識 |
|---|
| Research Abstract |
代表的な統計的言語モデルであるngramモデルに処理中の文書や文脈の話題・トピックに関する情報を取り込むことによって性能を向上させる手法を提案・評価・応用することを目的として研究を行った。本年度は、主に我々が提案しているトピックモデルである混合ディリクレモデルの理論・改良を中心に研究を行い、音声認識システムへの応用の予備実験を行った。
モデルの改良に関しては、階層ベイズモデルを利用した頑健なパラメータ推定手法を開発した。階層ベイズモデルは複雑な積分を近似的に数値計算する必要があるが、Reversing-EMと変分近似を用いた方法を開発し、様々な状況による実験を行った。比較的単純なReversing-EMでも十分な性能改善ができることが分かった。
応用として、大語彙連続音声認識システムに混合ディリクレモデルを適用し、認識率の改善のための予備実験を行った。適用方法として、従来のトライグラムモデルにunigram rescaling法でトピックモデルを組み込む方法、および文書尤度を用いて文書全体で認識結果の最適化を図る方法を考案した。予備実験結果としては、マルチトピックモデルの代表であるLDA(Latent Dirichlet Allocation)よりも混合ディリクレモデルがよい性能であることが分かった。これは、混合ディリクレモデルが音声認識に効果的なキャッシュモデルを包含しているためである。また、unigram rescaling法よりも文書尤度を利用する方法が安定して認識性能を改善できることも分かった。来年度は、混合ディリクレモデルの基本性能をさらに向上させるとともに、本格的な実証実験を行う予定である。
|
