Efficient framework for exploratory data mining

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K00154
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Multimedia database
• Research Institution: Osaka University
• Principal Investigator: Onizuka Makoto 大阪大学, 情報科学研究科, 教授 (60726165)
• Research Collaborator: Sasaki Yuya ; Yamamuro Takeshi
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 探索的データ分析 / OLAP分析 / データマイニング

Outline of Final Research Achievements

The goal of our research is to design a framework that effectively detect unexpected trends with regards to local outlier factor. The features of our framework is three-hold:　1) it is effective in detecting unexpected trends (expressed by OLAP queries) by leveraging local outlier factor, and 2) our framework introduces optimization techniques of top-k pruning and query sharing techniques over large number of answer candidates by employing online aggregation techniques for effective top-k pruning. Experiments results confirm that our method succeeds in reducing the search time up to 84% and also achieves high scalability with respect to input data size.

Free Research Field

データマイニング

Academic Significance and Societal Importance of the Research Achievements

探索的データ分析の領域において，LOFを用いて例外的なOLAP分析結果を探索する方法は斬新なアイデアであり，且つ高速な探索を実現するためグリッド分割および信頼区間推定技術を組み合わせることで高スケーラビリティを達成した．論文誌1件採択，国際ワークショップ2件採択，表彰3件を受賞した（その他，国内シンポジウム5件）．社会的意義としては，本技術を利用することで多様かつ大規模なデータに対して高速に有益な仮説の探索・検証が可能になるため，データサイエンティストを要せずビッグデータ解析が可能となる．現在，国立天文台と連携して超新星の発見応用に適用する準備を進めている段階であり，更なる発展が期待できる．