2012 Fiscal Year Annual Research Report
構文解析モデルの階層的確率オートマトンへの等価変換
| Project/Area Number |
24800004
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
若林 啓 筑波大学, 図書館情報メディア系, 助教 (40631908)
|
|---|
| Project Period (FY) |
2012-08-31 – 2014-03-31
|
| Keywords | 構文解析 / 確率文脈自由文法 / 階層的確率オートマトン / 確率モデル推論 |
|---|
| Research Abstract |
平成24年度は、PCFGモデルの階層的確率オートマトンへの等価変換を確立し、その推論アルゴリズムの実装および実行時間の検証を行った。導出した等価変換は、PCFGのRight-Corner変換を用いたプッシュダウンオートマトンに基づいている。従来の確率的プッシュダウンオートマトンは、解析木を子ノードから親ノードに向かって生成する特性をもつことから、確率モデルとして表現する確率分布が元のPCFGと異なっている。本研究では子ノードが何代前の親から生成されたかを表す「左導出カウント」と呼ぶ補助潜在変数を導入することにより、ベイズの定理を利用して確率分布が一致する階層的確率オートマトンの構成法を確立した。
実行時間の検証として、PCFGモデルの代表的な推論手法であるInside-Outsideアルゴリズムとの比較を行った。これにより、本手法による推論は、長い系列長のデータに対して実行時間が優位であるという実験結果を得られた。一方、系列長の短いデータに対してはInside-Outsideアルゴリズムの方が高速であることも明らかになり、扱う系列長が長いときに選択的に適用することで有効な手法であるという結論を得た。
これまでの差分構文解析研究では、元のPCFGモデルとは別の独自の識別モデルを構築することで精度向上を目指す研究が中心であった。本手法では、Inside-Outsideアルゴリズムに基づいて学習したパラメータを使って差分構文解析を行うことも可能であり、今後の差分構文解析の発展における理論的基盤となると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成24年度の研究計画として、(1)PCFGモデルから階層的確率オートマトンへの等価変換の導出、(2)等価変換した階層的確率オートマトンの推論および学習アルゴリズムの導出、(3)アルゴリズムの実装および実行時間の検証を予定していた。平成24年度はこれらの計画を実施し、それぞれ以下の成果を得ていることから、研究は概ね計画通りに進展しているといえる。
(1)PCFGのRight-Corner変換を用いたプッシュダウンオートマトンに基づく等価な階層的確率オートマトンの構成法の確立した。
(2)階層型隠れマルコフモデルの高速推論手法であるForward-Backward活性化アルゴリズムに基づいた推論アルゴリズムを導出した。
(3)アルゴリズムの実装およびInside-Outsideアルゴリズムとの実行時間の比較実験を行い、系列長が長いときに階層的確率オートマトンによる推論手法が優位であることを実験的に示した。
|
| Strategy for Future Research Activity |
平成25年度は、研究計画の通り、依存構造生成モデルと等価な階層的確率オートマトンについて明らかにする。依存構造生成モデルはPCFGモデルと異なり、単語同士が直接確率依存関係を持つ。また、単語の生成確率が、文章中で右側に現れる単語にも依存する。この性質は、確率オートマトンの状態集合を、単語の語彙と1対1の対応を持つように定義することで実現できる。状態は、対応する語彙の単語を必ず1回生成するような確率オートマトンを下位階層に生成するように制約する。状態空間とパラメータ制約をこのように定義することで、実質的には右側に現れる単語に依存して左側の単語の生成確率が決定するが、左側の確率変数から右側の確率変数にのみ確率依存関係がある生成過程としてモデル化できる。このアイディアに基づき、依存構造生成モデルと等価な階層的確率オートマトンを導出する。
平成24年度の研究で、等価変換された階層的確率オートマトンの状態空間の大きさに対する計算量が当初の想定よりも実行時間に大きな影響を与えることが明らかになった。このことが原因で、特に系列長が短いときに、Forward-Backwardアルゴリズムに基づいた厳密推論手法はInside-Outsideアルゴリズムと比較して不利になる。平成25年度は、確率伝搬法、粒子フィルタ法、Metropolis-Hastings法などの近似推論手法の適用も視野に入れて、より多角的な視点で効率的な推論手法の導出について研究を行う。
|
