| 研究課題/領域番号 |
11558030
|
|---|
| 研究種目 |
基盤研究(B)
|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
喜連川 優 東京大学, 生産技術研究所, 教授 (40161509)
|
|---|
| 研究分担者 |
林 周志 東京大学, 生産技術研究所, 助手 (50282596)
中山 雅哉 東京大学, 大型計算機センター, 助教授 (90217943)
中野 美由紀 東京大学, 生産技術研究所, 助手 (30227863)
鳥居 俊一 日立製作所, システム開発本部, 技術主幹(研究職)
|
|---|
| キーワード | データマイニング処理 / 並列データベース処理 / 分散処理 |
|---|
| 研究概要 |
本研究では、超並列相関ルールマイニングアルゴリズムを開発し、大規模並列コンピュータ(100プロセッサ)上に実現することで、その超高性能化を試み、従来、全く処理不能と考えられてきた巨大データのマイニングを可能とする基板技術の実用化を目的とする。
本年度は、時系列データに対する概念階層を考慮した相関ルールマイニング並列処理アルゴリズムの設計を行った。従来はトランザクションデータのみをノード群に分散していたのに対し、候補ルールに関してもハッシュ関数を利用して分散する新しい超並列化手法を提案した。過去我々が提案してきた単純化された並列相関ルーマイニングは16ノードからなるIBM社製SP-2での実験で一部に行ったにすぎず、超並列アルゴリズム設計を行うとともに、数十台規模のPCクラスタを用いて予備実験を行った。
さらに実行時動的負荷分散手法の開発について検討を行った。ルールはデータに偏りがあることから抽出される。逆に考えると偏りがなければそのデータには何ら特徴がないこととなり、ルールは存在しないことになる。一方で並列処理に於ける最終的な課題はいかに負荷を均等に分散させ並列台数効果を上げるかに集約される。そこで、出現頻度の高いルールは各プロセッサでローカルに処理を行い、通信を減らすことで効率化を図れるが、概念階層を考慮したタスク分割を行わなければ、逆に通信オーバーヘッドが大幅に増加するし、1000プロセッサ環境では著しい性能低下を招く。概念階層と出現頻度を考慮した新しい負荷分散方式を提案した。
|
