自己増殖能力を持つ文法フォーマリズムとそのための超高速パーザーの開発

1998 Fiscal Year Annual Research Report

• Project/Area Number: 08408009
• Research Institution: The University of Tokyo
• Principal Investigator: 辻井 潤一 東京大学, 大学院・理学系研究科, 教授 (20026313)
• Co-Investigator(Kenkyū-buntansha): 鳥澤 健太郎 東京大学, 大学院・理学系研究科, 助手 (70282712)
• Keywords: 自然言語処理 / 文法フォーマリズム / 単一化文法 / 論理型プログラミング言語 / 構文解析 / 機械学習 / 統計処理 / 文法学習

Research Abstract

本研究では自己増殖能力を持つ文法フォーマリズムとそのための超高速パーザーの開発指し高速な構文解析器と適用範囲の広い文法を開発してきた.HPSGでの解析速度が遅い第一の理由は,型付き素性構造の単一化が時間を要する操作であるということである,したがってまず第一にこの単一化を高速に実行できるようにすることが必要である.この方針にしたがって、先年度に引続き、文法記述・構文解析器開発用のプログラミング言語LiLFeSの処理系を発展させた。LiLFeSとは,Prologの項の代わりに型付き素性構造を使用できるようにした言語で,その処理系はGUIや高効率な構文解析器を実現するための種々の組み込み述語を備えている.本年度に開発したものは、先年度に開発したバイトコードエミュレーションの発展系で、Prologのネイティブコードコンパイラを参考に作成したIntel Pentium用のネイティブコードコンパイラである.このコンパイラでは抽象解釈などの導入により更に性能向上を図っている.後者のネイティブコードコンパイラによって出力されたコードの実行は前者のバイトコードエミュレータでのコードの実行よりも2倍程度高速である.しかし,そのバイトコードエミュレーターも既存の素性構造処理エンジンALE,ProFITに対して4倍から2倍程度の実行速度を出している.
また、構文解析器については、部分評価によってHPSGを文脈自由文法にコンパイルしその文脈自由文法を使って高速に構文解析を行なう手法をすでに開発していたが、それらを単純な手続きを付化することにより、さらに高速化することに成功した。さらに、素性構造のメモリー中での表現を正規化し,単一化の処理からスタック操作を除去する手法,さらには,選言を表現できる素性構造を用いて複数の素性構造をパッキングする手法などを開発している.特に文脈自由文法へのコンパイル手法は,後述の日本語文法を使用して,新聞に現れる文を平均250msec程度で解析することを可能にしている.この解析は可能な構文木をすべて数え挙げる全解探索である.今後,解析時の枝苅りの導入により解析時間はさらに数分の一となろう.
文法に関しては,先年度に開発した日本語のための文法をさらに拡張し、新聞の文の98.5%に対して何らかの解析が行なえるようになった。また、単純なヒューリスティックスを使って曖昧性解消を行なった結果、係受け精度が80%前後になることを確認した。この文法はHPSGの特徴をフルに活用した形で開発した文法である.つまり,ID-schemaやprincipleは十分なものを与えるが,辞書記述については,各品詞に属する単語の一般的な振舞いを記述したテンプレートと,ごく少数の特殊な振舞いをする機能語の辞書記述しか与えていない.解析精度については、文法,辞書をチューニングした構文解析器よりも数%から10%低い値が出ているが,大多数の語に辞書記述のテンプレートしか与えていないこと,及び構文木選択手法の単純さを考えるとまずまずの値であると考えている.また、さらなる解析精度の向上をめざし、コーパスからの格フレームの学習、単語のクラスタリングの研究もおこなった。

Research Products

• [Publications] T.Makino, M.Yoshida, K.Torisawa, J.Tsujii: "LiLFeS-towards a practical HPSG parser" Proc.COLING-ACL'98. 239-244 (1998)
• [Publications] T Ninomiya, K Torisawa and J.Tsujii: "An efficient parallel substrate for typed feature structures on shared memory parallel machines" Proc.COLING-ACL'98. 968-974 (1998)
• [Publications] Y.Mitsuishi, K.Torisawa and J.Tsujii: "HPSG-Style Underspecified Japanese Grammar with Wide Coverage" Proc.COLING-ACL'98. 876-880 (1998)
• [Publications] Y.Tateishi, K.Torisawa and J.Tsujii: "Translating the XTAG English Grammar to HPSG" Proc.TAG+4. 172-175 (1998)
• [Publications] Y.Miyao, K.Torisawa, Y.Tateishi and J.Tsujii: "Packing og Feature Structures for Optimizing the HPSG-style Grammar translated from TAG" Proc.TAG+4. 104-107 (1998)