HTML文書からの輪理構造自動推定に関する研究

Research Project

Project/Area Number	17700137
Research Category	Grant-in-Aid for Young Scientists (B)
Allocation Type	Single-year Grants
Research Field	Intelligent informatics
Research Institution	The University of Tokyo
Principal Investigator	吉田稔東京大学, 情報基盤センター, 助手 (40361688)
Project Period (FY)	2005 – 2006
Project Status	Completed (Fiscal Year 2006)
Budget Amount *help	¥2,400,000 (Direct Cost: ¥2,400,000) Fiscal Year 2006: ¥1,000,000 (Direct Cost: ¥1,000,000) Fiscal Year 2005: ¥1,400,000 (Direct Cost: ¥1,400,000)
Keywords	Web文書 / 文書構造 / XML / EMアルゴリズム / レイアウト
Research Abstract	Web文書の文書構造を表現するモデルとして、前年度提案した「ヘッダ木」と呼ばれる木構造を採用し、これを精度良く推定するためのアルゴリズムについて研究を行った。アルゴリズムは、HTML文書を文字列のリストに変換し、文字列リスト中の各要素間の関係を推定することにより、ヘッダー木の抽出を行う。そのための手法として、「リストの隣り合う要素間の関係のEMアルゴリズムによる推定」と、「文法によるレイアウト構造の解析」という2つの方針を検討し、それらについて詳細な検討を行った。前者については、各種ヒューリステイクスに関係するパラメータの設定や、学習データ量の増加、適切な後処理のアルゴリズムの設計等を行い、精度が向上することを確認した。また、後者については、従来の自然文の構文構造解析にヒントを得、Probabilistic Context Free GrammarsやProbabilistic Tree Adjoining Grammars等の文法枠組に従って、レイアウト構造に関する統一的な確率モデルを構築した。さらに、通常のコーパスと比べノイズの多いWeb文書を適切に取り扱うための前処理に関しても、アルゴリズムの改良を行った。応用システムに関しては、「解析されたヘッダ木に基づき、検索語の文書構造内の位置を把握し、上位ヘッダ、並列要素、等を文脈として表示する」という新たな検索システムについて実装を進めた。それに伴い、検索語の曖昧性を解消するための手法についても研究を行った。