2012 Fiscal Year Annual Research Report
ヘテロ型クラスタ計算機上でのペタスケール大規模データ処理
| Project/Area Number |
23700031
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
佐藤 仁 東京工業大学, 学術国際情報センター, 特任助教 (00550633)
|
|---|
| Keywords | ハイパフォーマンスコンピューティング / 大規模データ処理 / GPGPU / MapReduce |
|---|
| Research Abstract |
本年度は，前年度までの成果に基づき，MapReduceシステムの大規模環境での実行に注力した．具体的には，単一GPU向けの既存のMapReduce処理系であるMarsを，複数GPU向けの拡張を進め，GPUアクセラレータを搭載した大規模ヘテロ型スーパーコンピュータ(スパコン)上で効率的に実行するための最適化を行った．更に，拡張したMarsの実装上に，MapReduceプログラミングモデルに基づいたペタバイト級の大規模グラフ処理手法であるGIM-Vと呼ばれる行列ベクトル積の処理モデルを適用し，ページランクアプリケーションを開発した．GIM-Vによるページランクアルゴリズムを，TSUBAME2.0上の256ノード，768GPUを用いて実行したところ，2^30(10億7千万)頂点，2^34(172億)枝のグラフに対して87.04ME/sの性能を達成することを確認し，また，2^29頂点, 2^34枝を超えるグラフに対して，CPUのみを用いる場合と比較して1.52倍の高速化を確認した．一方で，shuffle処理，reduce処理における性能低下やオーバーヘッドを確認した．また，これらの経験を元に，更なる大規模計算環境へ適用や性能最適化，最新デバイス機能の適用を目的に，数千～数万のアクセラレータを搭載したスパコン上でのデータ並列処理を目指したソフトウェア基盤としてHamar(Highly Accelerated MapReduce)の開発を進めた．
|
