Efficient framework for exploratory data mining

• Project/Area Number: 16K00154
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Multimedia database
• Research Institution: Osaka University
• Principal Investigator: Onizuka Makoto 大阪大学, 情報科学研究科, 教授 (60726165)
• Research Collaborator: Sasaki Yuya ; Yamamuro Takeshi
• Project Period (FY): 2016-04-01 – 2019-03-31
• Project Status: Completed (Fiscal Year 2018)
• Budget Amount: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2018: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2017: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2016: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
• Keywords: 探索的データ分析 / OLAP分析 / データマイニング / 高速化 / ビッグデータ / 探索的分析

Outline of Final Research Achievements

The goal of our research is to design a framework that effectively detect unexpected trends with regards to local outlier factor. The features of our framework is three-hold:　1) it is effective in detecting unexpected trends (expressed by OLAP queries) by leveraging local outlier factor, and 2) our framework introduces optimization techniques of top-k pruning and query sharing techniques over large number of answer candidates by employing online aggregation techniques for effective top-k pruning. Experiments results confirm that our method succeeds in reducing the search time up to 84% and also achieves high scalability with respect to input data size.

Academic Significance and Societal Importance of the Research Achievements

探索的データ分析の領域において，LOFを用いて例外的なOLAP分析結果を探索する方法は斬新なアイデアであり，且つ高速な探索を実現するためグリッド分割および信頼区間推定技術を組み合わせることで高スケーラビリティを達成した．論文誌1件採択，国際ワークショップ2件採択，表彰3件を受賞した（その他，国内シンポジウム5件）．社会的意義としては，本技術を利用することで多様かつ大規模なデータに対して高速に有益な仮説の探索・検証が可能になるため，データサイエンティストを要せずビッグデータ解析が可能となる．現在，国立天文台と連携して超新星の発見応用に適用する準備を進めている段階であり，更なる発展が期待できる．

Research Products

• [Journal Article] 局所例外部分データの自動探索 (2018)
  • Author(s): 小笠原 麻斗，水野 陽平，佐々木 勇和，鬼塚 真
  • Journal Title: 日本データベース学会論文 Volume: 16-J Pages: 1-8
  • Peer Reviewed / Open Access
• [Presentation] 大域的・局所的データ分析を両立した効率的なフレームワーク (2019)
  • Author(s): 松本拓海，佐々木勇和，鬼塚真
  • Organizer: データ工学と情報マネジメントに関するフォーラム
• [Presentation] Data Slice Search for Local Outlier View Detection: A Case Study in Fashion EC (2019)
  • Author(s): Takumi Matsumoto, Yuya Sasaki, Makoto Onizuka
  • Organizer: Data Analytics solutions for Real-Life Applications
  • Int'l Joint Research
• [Presentation] 探索的データ分析におけるフレームワークの効率化 (2018)
  • Author(s): 松本拓海，山室健，小笠原麻人，佐々木勇和，鬼塚真
  • Organizer: The 2nd cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming
• [Presentation] 探索的データ解析におけるエンジンの効率化 (2018)
  • Author(s): 松本 拓海，山室 健，小笠原 麻斗，佐々木 勇和，鬼塚 真
  • Organizer: データ工学と情報マネジメントに関するフォーラム
• [Presentation] 統計的信頼区間を用いた局所例外部分データの効率的探索アルゴリズム (2018)
  • Author(s): 小笠原 麻斗，松本 拓海，佐々木 勇和，鬼塚 真
  • Organizer: データ工学と情報マネジメントに関するフォーラム
• [Presentation] 行列分解に基づく行動推薦と応用 (2017)
  • Author(s): 鬼塚 真
  • Organizer: 電子情報通信学会 総合大会
  • Place of Presentation: 名古屋県 名古屋市
  • Year and Date: 2017-03-24
• [Presentation] Efficient Data Slice Search for Exceptional View Detection (2017)
  • Author(s): Yohei Mizuno, Yuya Sasaki, Makoto Onizuka
  • Organizer: International Workshop On Design, Optimization, Languages and Analytical Processing of Big Data (DOLAP)
  • Place of Presentation: イタリア ベニス
  • Year and Date: 2017-03-21
  • Int'l Joint Research
• [Presentation] 局所例外部分データの自動探索 (2017)
  • Author(s): 小笠原 麻斗, 水野 陽平, 佐々木 勇和, 鬼塚 真
  • Organizer: データ工学と情報マネジメントに関するフォーラム (DEIM 2017)
  • Place of Presentation: 岐阜県 高山市
  • Year and Date: 2017-03-06
• [Presentation] ビッグデータ技術の潮流 - グラフマイニングとIoT の動向と応用 - (2017)
  • Author(s): 鬼塚 真
  • Organizer: 日本マリンエンジニアリング学会 第61回特別基金講演会
  • Place of Presentation: 東京都
  • Year and Date: 2017-03-03
  • Invited