2011 Fiscal Year Annual Research Report
ウェブ上の大規模ストリーミングデータを用いた実世界リアルタイム分析基盤
| Project/Area Number |
22650017
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
鈴村 豊太郎 東京工業大学, 大学院・情報理工学研究科, 客員准教授 (70552438)
|
|---|
| Keywords | ストリームコンピューティング / データストリーム処理 / Elastic / 動的負荷分散 / クラウド / 性能最適化 |
|---|
| Research Abstract |
本年度では、「Web上の大規模ストリーミングデータの実世界リアルタイム分析基盤」を実現する効率的かつ高性能なデータ処理基盤を構築するため主に以下の関する研究を行い、重要な知見が得られた。
データストリーム処理を用いたリアルタイム性の高いアプリケーションを運用する場合、データレートの増大に対して、レイテンシの発散を抑えることが重要である。しかし現実的には、計算資源は有限であるため、データレートが一定以上になった場合に、レイテンシが発散することは避けられない。本研究ではそのような状況下で、クラウド環境上に処理を委譲することで、レイテンシの発散を抑える手法及びアーキテグチャを提案する。データレートの急激な増加に対して、クラウド上の仮想マシン(Virtual Machine:以下、VM)を追加することで、レイテンシの発散を抑える。クラウド環境を用いれば、数分程度で計算資源を追加することができ、物理的な計算資源の追加と比べれば遥かに高速にデータレートの増加に対応でき、更に配置スペースを考慮する必要がない。局所的な負荷の増大に対しても、クラウド上の計算資源をその間だけ追加することで、計算資源の構成を弾力的に、すなわちElasticに変化させ、レイテンシの増大を抑えることが出来る。一方で、クラウド環境を利用するには経済的なコストを要するため、アプリケーションのレイテンシと経済的コストのトレードオフが発生する。本研究ではこれを最適化問題として扱い、コスト最適なスケジューリングを実行することで、クラウド環境の利用コストを最小化する手法も同時に提案した。また、そのシステムを実クラウド環境であるAmazon EC2を用いて構築し評価を行い、常にクラウド環境を利用する構成と比べて、経済的コストを80%削減することに成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の計画時に構想していたストリーム処理基盤はローカル資源のみを想定していたが、クラウド上でより伸縮性のある処理系として構築することに成功したことが理由である。
|
| Strategy for Future Research Activity |
平成24年度は本研究課題の最終年度となる。今後は昨年度、今年度の成果を基盤にしてTwitterなどの実データを用いた更に基盤ソフトウェアの有効性を示していく。
|
Research Products
(3 results)
