2006 Fiscal Year Annual Research Report
| Project/Area Number |
17700137
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
吉田 稔 東京大学, 情報基盤センター, 助手 (40361688)
|
|---|
| Keywords | Web文書 / 文書構造 / XML / EMアルゴリズム / レイアウト |
|---|
| Research Abstract |
Web文書の文書構造を表現するモデルとして、前年度提案した「ヘッダ木」と呼ばれる木構造を採用し、これを精度良く推定するためのアルゴリズムについて研究を行った。アルゴリズムは、HTML文書を文字列のリストに変換し、文字列リスト中の各要素間の関係を推定することにより、ヘッダー木の抽出を行う。そのための手法として、「リストの隣り合う要素間の関係のEMアルゴリズムによる推定」と、「文法によるレイアウト構造の解析」という2つの方針を検討し、それらについて詳細な検討を行った。前者については、各種ヒューリステイクスに関係するパラメータの設定や、学習データ量の増加、適切な後処理のアルゴリズムの設計等を行い、精度が向上することを確認した。また、後者については、従来の自然文の構文構造解析にヒントを得、Probabilistic Context Free GrammarsやProbabilistic Tree Adjoining Grammars等の文法枠組に従って、レイアウト構造に関する統一的な確率モデルを構築した。さらに、通常のコーパスと比べノイズの多いWeb文書を適切に取り扱うための前処理に関しても、アルゴリズムの改良を行った。応用システムに関しては、「解析されたヘッダ木に基づき、検索語の文書構造内の位置を把握し、上位ヘッダ、並列要素、等を文脈として表示する」という新たな検索システムについて実装を進めた。それに伴い、検索語の曖昧性を解消するための手法についても研究を行った。
|
