|
H23年度の研究実施計画で目標としためは、MapReduce型の分散処理を利用した検索方法(特にインデックス化のアルゴリズム)で、かつ、単なるキーワード検索を超えた複雑なクエリを可能とするような手法を実現することだった。
このうち、MapReduce型の分散処理によるインデックス化については、本年度の研究で利用したLDAアルゴリズムのライブラリ(gensim)がMapReduceではなく独自の分散処理に従っていたため、そちらを利用した分散処理とした。研究を進めるうちに、分析アルゴリズムが独自の並列化機能を含むことが多いことが明らかになってきた(上記のgensimや、グラフデータベースのflockDBなど)ため、必要に応じてそれらの並列化機能を利用することとした。
また、複雑なクエリを可能とする検索については、研究を進めるうちに、クエリの文法(およびその裏にあるデータ構造)が検索手法から独立した一般的なものとする方法は困難であること、したがって、そのようなクエリの仕掛けを盛り込んだツールキットも困難であることが判明した。その解決策として、現在、利用者の手元にあるソフトウェアプロダクトから、検索手法に適したクエリを生成するための手法も含んだ新たな分析手法を目指すこととした。
分析対象の文書を、ソースコード以外に(実行履歴やJavaDocなどに)拡張する手法については、当初の予定より遅れているため、引き続きH24年度の新たな研究課題での検討事項とした。
|
