|
本研究では新しい文書検索支援手法を提案した。本手法では、システム内に予め用意した多数の分類観点を組み合わせることで、ユーザの検索目的に合わせて動的にカテゴリ構造が構築される。本研究では提案手法を実装した実験用システムを試作し、評価実験を行った。評価実験においては、検索対象として検索システム評価用テストコレクションであるBMIR-J2を用い、BMIR-J2が提供する検索課題のうち10課題を選んで用いた。次の2種類の評価実験を行った。
(1)ユーザがある決まったルールに従って行動すると仮定し、そのユーザが操作したときに得られる検索精度を調べる。
(2)実際に被験者を募って検索作業をしてもらい、得られた検索精度や操作時間、使用感などを調べる。
比較対象として、単純なキーワード検索方式のシステム、および、分類観点ではなく統計的手法(クラスタリング)を使って文書集合の分類を行うシステムを用いた。また、提案システムとして、ユーザの検索目的に対する分類観点の適切さを(a)分類の明確さによって測るものと(b)エントロピーに基づいて測るものの2システムを用いた。評価実験により以下の結果が得られた。(1)検索結果の質:提案手法を使ったときのほうが、ユーザが選んだ文書集合(検索結果)はBMIR-J2が定めた正解を多く含んだ。(2)効率:提案手法のほうが、同じ再現率を得るための操作時間が短かった。
(3)使いやすさ:キーワード検索に慣れているユーザがほとんどだったが、提案手法はキーワード検索手法と同程度の主観評価値を得た。
実験(1)までの結果を2nd International Workshop on the World Wide Web and Conceptual Modelingにおいて発表した。
|
