2010 年度研究成果報告書

検索システムにおける個別WEB応用への対応化技術の研究

研究課題

研究課題/領域番号	20500086
研究種目	基盤研究(C)
配分区分	補助金
応募区分	一般
研究分野	メディア情報学・データベース
研究機関	電気通信大学
研究代表者	尾内理紀夫電気通信大学, 大学院・情報理工学研究科, 教授 (70323871)
研究分担者	林貴宏新潟大学, 自然科学系, 准教授 (60342490)
研究期間 (年度)	2008 – 2010
キーワード	情報検索
研究概要	研究の結果、システム全体は、文書収集・登録部(新規収集クローラと更新クローラ、文書登録モジュール)と検索部(検索バックエンド、インデクサ、スコア作成モジュール)から構成されることとなった。2種類のクローラで採用するオープンソースソフトウェアについて検討し、新規収集クローラはHeritrixを使用することし、更新クローラ、文書登録モジュールを実装した。さらに規模の拡大における負荷軽減、スケーラビリティ、耐障害性について検討し、Hadoopを導入し、HDFSで管理するようにした。MapReduceによるインデキシングの高速化を図り、従来に比較し、インデックスサイズはほぼ同等で約15倍の速度向上を実現した。以上、成果として本方式の有効性を検証した。