ウェブマイニングの為のウェブウェアハウス構築に関する研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13224014
• Research Institution: The University of Tokyo
• Principal Investigator: 喜連川 優 東京大学, 生産技術研究所, 教授 (40161509)
• Co-Investigator(Kenkyū-buntansha): 中野 美由紀 東京大学, 生産技術研究所, 助手 (30227863) ; 小口 正人 東京工業大学, 大学院・情報理工学研究科, 教授 (60328036)
• Keywords: 計算機システム / インターネット高速化 / データストレージ / ディスククラスタ / コンテンツ・アーカイブ / データマイニング

Research Abstract

資源の無い我国においてはWWW情報は貴重な資源と見なすことが出来、その有効活用が期待されるが現状ではWWWの利用形態は単純なキーワードサーチに基づくサーチエンジンに留まっている。本研究では更なる新しいサービスを模索すべく、その第一歩としてWWWコンテンツを柔軟に操作可能とする強力なプラットフォームを構築することを目的としている。本年度は、今までに収集した数年間の全日本WWWページからWWW上のコミュニティの発展過程について知見を得た。我々は,1999,2000,2001年に定期的に収集した3つのウェブスナップショットを比較することで,ウェブコミュニティの発展過程を調査した.この際,成長率,新規率,安定率など,興味ある発展過程の抽出に有用なメトリックスを導入した.これらのメトリックスを用いると,最も成長したコミュニティや,最も新しいコミュニティなどを抽出することが可能になる.また、膨大なWWWコミュニティの解析を行うツールとして、WWWコミュニティ可視化ツールを構築した。加えて、WWWサイトにおける大量アクセスログを解析するためのツール、ならびに、種々のトラバーサルパタンを可視化するためのツールを開発し、有用性を確認した。さらに、WWWウェアハウスのプラットフォームとして、ストレージエリアネットワークを用いた従来にないPCクラスタを構築し、データインテンシブなアプリケーションに対する、有効性に関し、初期評価を進め、良好な結果を得た。

Research Products

• [Publications] Bowo Prasetyo, Masaru Kitsuregawa, et al.: "Naviz : Website Navigational Behavior Visualizer"Proc. of 6th Pacific-Asia Conference on Advances in Knowledge Discovery and Data Mining(PAKDD 2002). (2002)
• [Publications] Yusuke Ohura, Masaru Kitsuregawa, et al.: "Experiments on Query Expansion for Internet Yellow Page Services Using Web Log Mining"28th International Conference on Very Large Data Bases(VLDB 2002). (2002)
• [Publications] Wang Y., Kitsuregawa M.: "On Combining Link and Contents Information for Web Page Clustering"Proc. of DEXA2002. (2002)
• [Publications] Masato Oguchi, Masaru Kitsuregawa: "Runtime Data Declustering based on Bandwidth-on-Deamand and its Evaluation over SAN-connected PC Cluster"Proc. of 15th International Conference on Parallel and Distributed Computing Systems(PDCS 2002). 206-213 (2002)
• [Publications] Noriko Imafuji, Masaru Kitsuregawa: "Effects of Maximum Flow Algorithm on Idetifying Web Community"Proc. of 4th International Workshop on Web Information and Data Management(WIDM 2002). 43-48 (2002)
• [Publications] Masashi Toyoda, Masaru Kitsuregawa: "Observing Evolution of Web Community"Proceedings of 11th International WWW Conference(poster). (2002)