2013 Fiscal Year Research-status Report
マルチコア環境における複数演算の並列評価による低遅延データストリーム処理
| Project/Area Number |
24700087
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡辺 陽介 東京工業大学, 学術国際情報センター, 助教 (80532944)
|
|---|
| Keywords | データストリーム / マルチコア / 並列処理 |
|---|
| Research Abstract |
センサーデータやログ情報などのように，時間の経過に伴って次々と生成されるストリームデータが増加し，それらに対するデータ処理技術に注目が集まっている．ストリームデータ処理ではリアルタイム性を求められることが多く，処理遅延の削減は重要な課題の一つである．本研究の目的は処理遅延を減らすために，複数のCPU コアを用いて同一データに対する複数演算を並列評価する処理方式を実現することである．
まず，本年度も継続して，M入力のストリームデータに対する結合処理を並列に扱う処理方式を検討した．提案手法である並列結合ツリー方式と並列MJoin方式について，それぞれの特性を調査し，有利なケースと不利なケースを分析した．特に並列MJoin方式の適用には結合条件同士に推移関係が必要であることを明らかにし，関係が成り立たない場合には結合条件を分離し，後付での条件評価を行う回避策を提案した．
また，従来からの問合せ最適化方式が機能せず，提案方式による並列化が有効になる利用状況の一つとして，動的に選択された情報源の統合について検討した．ここでいう動的な情報源の選択とは，ストリームデータの現在の値に依存して問合せ中で使用される情報源が決定されることであり，例えば「位置情報に基づいて最寄りのセンサーからの入力に切り替える」等の処理を想定している．情報源が実行中に変更されることから，従来型の問合せ最適化方式でよく行われる，演算の選択率を事前に見積もり，最適な演算の実行順序を決定することが困難である．それに対して，提案方式は複数のCPU コアによる演算の並列評価であるため，実行順序に依らない処理の効率化が可能である．この検討結果に基づき，本研究で実現するプロトタイプシステムに情報源の動的選択の機能を盛り込むため，必要な処理機構について考察・提案を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
リレーショナル代数演算のうち選択演算や射影演算，ウインドウ結合演算を対象にした簡易的なシステムはすでに構築済みであり，これらは当初の研究計画通り目標を達成している．
提案手法の有効性をアピールするための応用も見えてきており，情報源の動的選択機能など最終的なプロトタイプシステムに盛り込むべき要件を固めることができた．
ユーザ定義処理を含めた演算の扱いに関しては，年度末に研究代表者が所属機関を変わることになったため，そちらに時間をとられ十分に実施することができなかった．
ただし，この部分の遅れは技術的な問題によるものではないため，次年度以降で取り戻すことが可能だと考えている．
|
| Strategy for Future Research Activity |
今後は，並列処理可能な演算の関係について，ユーザ定義の処理（例えば時系列データのマッチングなど）を含む場合についても検討する．ユーザ定義の処理に対して，システムが何の前提知識もなく並列実行可能性を判断することは困難であるため，なんらかの方法でユーザ定義処理の性質を記述して与えさせることを考えている．複雑なユーザ定義処理が含まれることで，演算同士の処理時間の差が大きくなりやすいと考えられるため，演算のスケジューリング手法についても同時に検討する．
また，本研究の提案する並列処理方式をプロトタイプシステム上に実装する．比較実験ができるように処理遅延削減を重視した提案方式と，スループット向上を重視した既存の並列処理方式の2つを実現する．さらに比較のみでなく，両者の組合せによりスループットの向上と処理遅延削減を両立するのための仕組みも検討する．
情報源の動的選択の機能も実現し，提案方式を用いた動的な情報源の統合処理の効率化の効果を確認する．
|
