2010 Fiscal Year Annual Research Report
| Project/Area Number |
20300053
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
佐藤 泰介 東京工業大学, 大学院・情報理工学研究科, 教授 (90272690)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
亀谷 由隆 東京工業大学, 大学院・情報理工学研究科, 助教 (60361789)
|
|---|
| Keywords | shared BDD / order-encoding / PRISM / Viterbi推論 |
|---|
| Research Abstract |
H22年度では前年度末に導出したBDD(2分決定木)を使った統計的パラメータ学習アルゴリズムであるBDD-EMアルゴリズムを拡張したshared BDD-EMアルゴリズムを導出し実装した。shared BDDは複数のBDDを束ね、BDD間の部分グラフの共有を行ったものである。shared BDD-EMアルゴリズムは、BDDの代わりにshared-BDDを使ったEMアルゴリズムであって、BDD-EMアルゴリズムで仮定されていた単一BDDに対する確率計算を、統計的学習では必須の数百、数千のiid(独立同分布)データから作成される多数のBDDに対する確率計算に拡張したものである。人工データおよび実データを使った学習実験の結果、複数データに対する確率計算の共有を行いつつ、パラメータ学習を効率的に行うことができることを確認した。また論理に基づいた確率モデリングにおいては確率モデルは命題論理式に変換されるが、その際命題変数を順序付けした上でorder-encodingと呼ばれる手法を使うことにより、より効率的に変換できることを理論的に導き、人工データを使った計算機実験により確認した。
一方PRISMの機能強化に関しては、統計的推論で重要なViterbi学習の実験的実装を行った。Viterbi学習では最尤の解(Viterbi解)を与える統計パラメータを推論するが、EMアルゴリズムに比べて、計算が簡単になるという特徴がある。特にHMMなどの末端再帰により表現される確率モデルに於いては非常に効率的なパラメータ学習が実現される。一方HMMより更に灘なPCFGでは、部分Viterbi解を合成した解が全体の解にならないという問題があるが、我々は複数の最尤に近い解を保持しつつ、それらを組み合わせることにより最終的にViterbi解を得ることに成功した。実際のコーパスとPCFGに対し、このようなViterbi学習を行い、得られた統計パラメータがEMアルゴリズムより得た統計パラメータより高い精度で正解構文木を与えることを実験的に確認した。
|
