2010 Fiscal Year Annual Research Report
Web上の大規模ストリーミングデータを用いた実世界リアルタイム分析基盤
| Project/Area Number |
22650017
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
鈴村 豊太郎 東京工業大学, 大学院・情報理工学研究科, 客員准教授 (70552438)
|
|---|
| Keywords | ストリームコンピューティング / データストリーム処理 / 大規模グラフ / 性能最適化 |
|---|
| Research Abstract |
本研究では、情報爆発時代に対応するストリームコンピューティングの実行基盤とWebへの応用に関する研究を行う。近年、Webにおいては、マイクロブログのTwitterやBloggerなどのブログサービス、MixiやFacebookなどのソーシャルネットワーキングサービス(SNS),写真共有サイトFlickrなど、多くのデータが公開APIを通して、ほぼリアルタイムに近い形で取得できるような時代が到来している。本研究では、これらのAPIから膨大に取れるデータをストリームコンピューティングの計算パラダイムを用いてリアルタイムに分析する基盤ソフトウェアを構築するし、実世界の動向をリアルタイムに分析することを実現する。本年度では、「Web上の大規模ストリーミングデータの実世界リアルタイム分析基盤」を実現する効率的かつ高性能なデータ処理基盤を構築するため主に以下の関する研究を行い、重要な知見が得られた。
大規模かつ成長し続けるグラフ構造を持つデータを,リアルタイム性を考慮して効率よく解析するために,データストリーム処理を用いたインクリメンタルグラフ処理を提案する.そのための計算モデルIncremental GIM-Vを提案し,データストリーム処理系IBM System Sを用いて実装と評価を行い,その上でより効率的で適用範囲の広いデータストリームグラフ処理に向けて議論する.人工データによるPageRankの計算による評価では,グラフ構造変化の及ぶ範囲が全体の50%以内であるときに,インクリメンタルグラフ処理により3.0倍以上高速に計算出来ることを示した。
|
