2012 Fiscal Year Research-status Report
マルチコア環境における複数演算の並列評価による低遅延データストリーム処理
| Project/Area Number |
24700087
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡辺 陽介 東京工業大学, 学術国際情報センター, 助教 (80532944)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | データストリーム / マルチコア / 並列処理 |
|---|
| Research Abstract |
センサー技術の発達やネットワーク上を流れるデータ量の増加とともに，時々刻々と生成されるストリームデータへのデータ処理技術が重要となってきている．リアルタイム性が求められることの多いストリームデータ処理においては，処理遅延の削減は重要な課題の一つである．本研究では処理遅延を減らすために，複数のCPU コアを用いて同一データに対する複数処理を並列評価する処理方式の実現を目的としている．
特に本年度は，M入力のストリームデータに対する結合処理に着目し，マルチコアCPUを活かした並列な結合処理方式を2つ提案した．並列結合ツリー方式は，2入力の結合演算をツリー状に組合せてM個のストリームを結合するが，このとき結合順序の違いによって処理遅延がストリームごとに変化することに着目し，結合順序を変えた複数のツリーをマルチコアで同時並列に動かすことで，より少ない遅延で出てきた出力結果を毎回優先的に採用するというものである．並列MJoin方式は，既存のM入力の結合アルゴリズムMJoinをマルチコア向けに改良したものである．人工データのワークロードを用いて，これら2手法と従来手法を比較し，特に並列MJoin方式がより多くの処理遅延を削減できることを示した．
また，ストリーム処理技術の実応用として，ストレージシステムにおける消費電力測定環境を構築した．ストレージシステム内のハードディスクの個別の消費電力が測定できるように電力計を接続し，消費電力ストリームデータを連続的に収集・分析できるようにした．この測定環境の構築により，ストレージ省電力化に関する研究の実証実験に貢献するだけでなく，応用側からみた場合のストリーム処理技術への技術的課題についてもより明らかになった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度は，リレーショナル代数演算のうち選択演算や射影演算，ウインドウを扱う結合演算を対象に並列実行可能性について理論的な検討を行うことができた．また，並列評価に適したシステムアーキテクチャを比較検討するため，いくつか簡易的なシステムを構築した．これらは当初の今年度研究計画に則って行われており，目標を達成している．
計画では，処理時間の異なる複数の演算のスケジューリング手法についても検討する予定であったが，今年度対象にした演算では処理時間に大幅な差が観測されなかった．この段階でスケジューリング手法を導入しても処理効率への改善効果が薄いため，次年度以降提案方式を拡張して複雑なユーザ定義処理を対象として含める際に，併せて検討するものとした．
|
| Strategy for Future Research Activity |
今後は，並列実行可能な演算の関係について，リレーショナル代数演算に限らず，より複雑なユーザ定義の処理（例えば時系列データのマッチングなど）を含む場合についても検討する．ユーザ定義の処理に対して，システムが何の前提知識もなく並列実行可能性を判断することは困難であるため，なんらかの方法でユーザ定義処理の性質を記述して与えさせることを考えている．また，複雑なユーザ定義処理が含まれることで，演算同士の処理時間の差が大きくなりやすいと考えられるため，演算のスケジューリング手法について検討する．
次に，処理遅延削減を重視した提案手法と，スループット向上を重視した既存の並列実行方式を組合せた並列化の実現について検討する．組合せによりスループットの向上と処理遅延削減の両立が期待できる．複数の方式が混在した場合でも最適な処理プランを導出できるような，コスト計算方法および処理プランの生成アルゴリズムを提案する．可能な選択肢が多いために，候補となる処理プランの数が爆発的に増えることが想定される．そのため，ヒューリスティクス等を用いて近似解をみつけるような手法が必要と考えている．
|
| Expenditure Plans for the Next FY Research Funding |
該当なし
|
