| Research Abstract |
WWWは,従来の情報メディアとは異なった異なった数々の特徴を持っており,本研究は,Webページ総量の推定や標本抽出などの基礎的調査を行う一方,情報源として役立つWebページを自動的に判断し自動分類を行う方法を考案し,次世代サーチエンジンの基礎研究を行うものである。
第一年度は,収集したWebページ群から情報源となりうる分類されたページ群を取り出すまでの手順のうち,ページタイプの自動判定,情報源として有用なページの自動判定を行った。WWWの表現と機能としての特性から,Webページタイプとして標準,表紙,目次,掲示板,チャット,リンク集,日記,入力フォームを設定,各ページタイプの出現頻度を調査した後,標本集合を用いてWebページから得られる量的な指標やHTMLタグの出現頻度の主成分分析により,タイプ分けのアルゴリズムを考案した。126種の判定ルールとその重みを設定した。標準タイプの識別に関しては75%以上の再現率・精度を得ることができた。一方,テキスト中の語の出現状況を調べ,rよい情報源である」の判定で高得点を得たページの形態素解析を行い,語の出現状況をもとに,有用な情報源の自動判定を試みた。その結果,語の出現頻度によって約80%の有用なページを自動判定することができた。
第二年度は,Webページの総量の推定を行った。2001年9月現在のWebページ総量の32億ページであることが判明した。次に,第一年度に行った調査を拡大し,ページ判定,格付けそれに分類ずみの3000ページの標本ページを作成し,これをもとに,自動分類を行うとともにページタイプの自動判定,情報源として有用なページの自動判定のアルゴリズムを改良した。これを検索システムに組み込み,国立情報学研究所の第2回NTCIRワークショップWebタスクに参加した。
|
