大規模並列プロセッサを用いた相関ルールマイニングの超並列処理方式に関する研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11558030
• Research Institution: University of Tokyo
• Principal Investigator: 喜連川 優 東京大学, 生産技術研究所, 教授 (40161509)
• Co-Investigator(Kenkyū-buntansha): 林 周志 東京大学, 生産技術研究所, 助手 (50282596) ; 中山 雅哉 東京大学, 情報基盤センター, 助教授 (90217943) ; 中野 美由紀 東京大学, 生産技術研究所, 助手 (30227863) ; 鳥居 俊一 日立製作所, ビジネスソリューション開発本部先端ミドルウェアー開発部, 技術主幹(研究職)
• Keywords: データマイニング処理 / 並列データベース / 分散処理

Research Abstract

本研究では、超並列相関ルールマイニングアルゴリズムを開発し、大規模並列コンピュータ(100プロセッサ)上に実現することで、その超高性能化を試み、従来、全く処理不能と考えられてきた巨大データのマイニングを可能とする基盤技術の実用化を目的とする。
本年度は、概念階層を考慮した相関ルールマイニング並列処理アルゴリズムに関し、SQLによる記述を行い、PCクラスタおよび商用データベース上で実行することにより、我々の提案する並列データマイニングアルゴリズムの大規模データベースエンジンへの実用化の検討を行った。
SQL及びその拡張を用いたデータマイニングは、一般的に性能の面では専用プログラムに大きく劣っていることが知られている.しかしながら、近年の計算機の性能向上ならびに並列処理機能の進歩により、SQLを基にしたデータマイニングでも十分な性能を期待できる.そこで、大規模PCクラスター上にSQL処理系を用いたデータマイニングを実装し、直接C言語で記述されたデータマイニングプログラムと比較した。実際の実装を通じて、通常の相関ルールのマイニングに対して4ノードで階層関係を考慮するマイニングでも6〜8ノードを用いればCによる実装と同じぐらいの処理速度が実現できることを確認した.さらに、C記述からSQLへの効率の低下割合などを検討することにより、SQLマイニングの有効性を明確にした。

Research Products

• [Publications] Takahiko Shintani and Masaru Kitsuregawa: "Parallel Generalized Association Rule Mining on Large Scale PC Cluster"Large-Scale Parallel Data Mining ISBN 3-540-67194-3. 145-160 (2000)
• [Publications] Masaru Kitsuregawa,Takahiko Shintani,Masahisa Tamura,Iko Pramudiono: "Parallel Data Mining on Large Scale PC cluster (Key note address)"WAIM. 15-26 (2000)
• [Publications] Masaru Kitsuregawa,Takahiko Shintani,Takeshi Yoshizawa,Iko Pramudiono: "Web Log Mining and Parallel SQL Based Execution (Key note address)"International Workshop on Databases in Networked Information Systems (DNIS2000),,University of Aizu. 20-32 (2000)