大規模データストリームからの超高速データマイニングの研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15300036
• Research Category: Grant-in-Aid for Scientific Research (B)
• Research Institution: Kyushu University
• Principal Investigator: 有村 博紀 九州大学, 大学院・システム情報科学研究院, 助教授 (20222763)
• Co-Investigator(Kenkyū-buntansha): 石野 明 九州大学, 情報基盤センター, 助手 (10315129) ; 篠原 歩 九州大学, 大学院・システム情報科学研究院, 助教授 (00226151) ; 竹田 正幸 九州大学, 大学院・システム情報科学研究院, 助教授 (50216909)
• Keywords: 半構造データ技術 / 高速データストリーム / XMLデータ / 情報抽出 / データマイニング / 知識獲得 / 大規模ネットワークデータ / オンライン半構造データ検索

Research Abstract

ネットワーク上を時間的に変化しながら流れる大量半構造データストリームからの情報獲得が緊急の課題となっている.本研究では,このような高速半構造データストリームから有用な情報を効率よく獲得する超高速オンライン型データマイニング・システムの研究開発を行った.
平成15年度は,オンライン半構造パターン照合と半構造データマイニングの2つの情報獲得問題について,以下のように基本的なアルゴリズムを設計・開発した.
(1)ネットワーク侵入検出と,移動ロボット群の動画ストリーム解析,XMLデータストリーム検索・配信等の実際のデータストリーム応用を解析し,オンライン型データマイニング・システムに必要なパターン照合問題とデータマイニング問題の洗い出しを行った(全員).
(2)標準的なXPathパターンの線形時間計算可能な部分族に焦点を絞り,一方向逐次走査に基づくデータストリーム指向の半構造パターン照合手法を開発した.パターン照合のためのさまざまな有限状態機械と高速実装法を開発し,標準的なXMLストリームに直接適用可能な手法を実現した(竹田・石野,有村).さらに,Hedgeモデルに基づく新しいXMLデータ変換手法とその高速な実現法を開発した.
(3)オンラインパターン発見について,滑り窓や指数的忘却技法を取り入れ,ストリームの時間変化に柔軟に追従する半構造データ向けの適応的パターン発見手法を開発した(篠原・竹田・有村).研究項目2と3で開発した半構造パターン照合技法とオンライン発見手法を元に、申請者等が開発した高速半構造パターン発見アルゴリズムFREQTをより現実的なクラスの半構造データの族が扱えるよう拡張し,データストリーム指向の高速な半構造パターン発見アルゴリズムを開発した(有村).
(4)並行して,開発したアルゴリズムの計算量の理論的解析を行い,個々のアルゴリズムの最適化をおこなった(全員).

Research Products

• [Publications] Hiroshi Sakamoto et al.: "Learning Elementary Formal Systems with Queries"Theoretical Computer Science. 298(1). 21-50 (2003)
• [Publications] Tatsuya Asai et al.: "Discovering Frequent Substructures in Large Unordered Trees"Proc.the 6th International Conference on Discovery Science (DS'03). 2843. 47-61 (2003)
• [Publications] Takeaki Uno et al.: "LCM : An Efficient Algorithm for Enumerating Frequent Closed Item Sets"Proc.ICDM'03 Workshop on Frequent Itemset Mining Implementations (FIMI'03). (2003)
• [Publications] 有村 博紀: "計算学習理論における学習"人工知能学会誌. 18・5. 531-536 (2003)
• [Publications] Tatsuya Asai et al.: "半構造データマイニングにおけるパターン発見技法"電子情報通信学会論文誌. J87-D-1・2. 111-139 (2003)
• [Publications] Hiroki Arimura: "Efficient Text and Semi-structured Data Mining : Knowledge Discovery in the Cyberspace"The first Franco-Japanese Workshop on Information Search, Integration and Personalization (ISIP'03). (2003)
• [Publications] Masayuki Takeda et al.: "Discovering Most Classificatory Patterns for Very Expressive Pattern Classes"Lecture Notes in Computer Science. 2843. 486-493 (2003)
• [Publications] Shunsuke Inenaga et al.: "Compact Directed Acyclic Word Graphs for a Sliding Window"Journal of Discrete Algorithms. (to appear). (2004)
• [Publications] Shunsuke Inenaga et al.: "Linear-time off-line text compression by longest-first substitution"Lecture Notes in Computer Science. 8572. 137-152 (2003)
• [Publications] Hideo Bannai et al.: "Inferring Strings from Graphs and Arrays"Lecture Notes in Computer Science. 2747. 208-217 (2003)
• [Publications] Kensuke Baba et al.: "On the length of the minimum solution of word equations in one variable"Lecture Notes in Computer Science. 2747. 189-197 (2003)
• [Publications] Satoru Miyamoto et al.: "Ternary Directed Acyclic Word Graphs"Lecture Notes in Computer Science. 2759. 120-130 (2003)