Webページを自動的に格付け,分類する新世代サーチエンジンの開発

2000 Fiscal Year Annual Research Report

• Project/Area Number: 12558038
• Research Institution: Keio University
• Principal Investigator: 上田 修一 慶應義塾大学, 文学部, 教授 (50134218)
• Co-Investigator(Kenkyū-buntansha): 渡邊 道子 鉄道技術研究所, 技術支援部, 技師 ; 久野 高志 作新学院大学, 女子短期大学部, 専任講師 (30310212) ; 安形 輝 亜細亜大学, 教養部, 専任講師 (80306505)
• Keywords: WWW / 情報検索 / 自動分類 / Webページ / サーチエンジン / 自動格付け

Research Abstract

WWWは,従来の情報メディアとは異なった異なった数々の特徴を持っている。本研究は,Webページ総量の推定や標本抽出などの基礎的調査を行う一方,情報源として役立つWebページを自動的に判断し自動分類を行う方法を考案し,次世代サーチエンジンの基礎的研究を行うものである。
本年度は収集したWebページ群から情報源となりうる分類されたページ群を取り出すまでの手順のうち,ページタイプの自動判定,情報源として有用なページの自動判定を行った。
WWWの表現と機能としての特性から,標準,表紙,目次,掲示板,チャット,リンク集,日記,入力フォームをWebページタイプとして設定し,各ページタイプの出現頻度を調査した後標本集合を用いてWebページから得られる量的な指標やHTMLタグの出現頻度の主成分分析により,タイプ分けのアルゴリズムを考案した。126種の判定ルールとその重みを設定した。標準タイプの識別に関しては75%以上の再現率・精度を得ることができた。
Webページの評価について作成者,利用者,物理的アクセス条件の三つの視点から仮の評価項目を定め,9名の被験者を用いて,これらの項目と「よい情報源」の関係をみた。その結果,情報源となりうるページの判定に用いることができるのは,各ページのテキストであることが明らかになった。テキスト中の語の出現状況を調べ,「よい情報源である」の判定で高得点を得たページの形態素解析を行い,語の出現状況をもとに,有用な情報源の自動判定を試みた。その結果語の出現頻度によって約80%の有用なページを自動判定することができた。

Research Products

• [Publications] 上田修一: "情報源としてのWWW"メディア・コミュニケーション. 50. 42-50 (2001)
• [Publications] 安形輝: "WWW調査におけるサンプル集合の収集法"三田図書館・情報学会研究大会発表論文集. 2000. 37-40 (2000)
• [Publications] 久野高志 他: "Webページのタイプ判定法"日本図書館情報学会研究大会発表要綱. 2000. 55-58 (2000)
• [Publications] 上田修一 他: "Webページ評価の視点と基準"三田図書館・情報学会研究大会発表論文集. 2000. 33-36 (2000)