ヘテロ型クラスタ計算機上でのペタスケール大規模データ処理

• 研究課題/領域番号: 23700031
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: ソフトウエア
• 研究機関: 東京工業大学
• 研究代表者: 佐藤 仁 東京工業大学, 学術国際情報センター, 特任助教 (00550633)
• 研究期間 (年度): 2011 – 2012
• 研究課題ステータス: 完了 (2012年度)
• 配分額: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円); 2012年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円); 2011年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
• キーワード: 並列処理 / 分散処理 / 大規模データ処理 / ハイパフォーマンスコンピューティング / GPGPU / MapReduce / アクセラレータ

研究概要

次世代のヘテロ型アーキテクチャ上での大規模データ処理の実現のための基盤技術の確立を目的として,GPUを搭載したヘテロ型クラスタ計算機向けのMapReduce処理系の研究開発を進めた.TSUBAME2.0スーパーコンピュータ上で256ノード,768GPUを用いて,MapReduceモデルを採用したグラフ処理アプリケーションを対象に実行し,大規模実行における性能のスケーラビリティ,ボトルネックを明らかにし,さらに次世代の超大規模データ処理基盤の実現のための礎を築いた.

研究成果

• [学会発表] A Scalable Implementation of a MapReduce-based Graph Processing Algorithm for Large-scale Heterogeneous Supercomputers (2013)
  • 著者名/発表者名: Koichi Shirahata, Hitoshi Sato, Toyotaro Suzumura, and Satoshi Matsuoka
  • 学会等名: In Proceedings of the 13th IEEE/ACM International Symposium on Cluster, Cloud, and Grid (CCGrid2013)
  • 発表場所: Delft, The Netherlands
  • 年月日: 2013-05-15
• [学会発表] A Scalable Implementation of a MapReduce-based Graph Algorithm for Large-scale Heterogeneous Supercomputers (2013)
  • 著者名/発表者名: Koichi Shirahata, Hitoshi Sato, Toyotaro Suzumura, Satoshi Matsuoka
  • 学会等名: GPU TechnologyConference 2013 (GTC2013)
  • 発表場所: San Jose, USA
  • 年月日: 2013-03-18
• [学会発表] A GPU Implementation of Generalized Graph Processing Algorithm GIM-V (2012)
  • 著者名/発表者名: Koichi Shirahata, Hitoshi Sato, Toyotaro Suzumura, and Satoshi Matsuoka
  • 学会等名: In Proceedings of the 3rd International Workshop on Parallel Algorithm and Parallel Software (IWPAPS 2012)
  • 発表場所: Beijing, China
  • 年月日: 2012-09-28
• [学会発表] 汎用グラフ処理モデルGIM-Vの複数GPUによる大規模計算とデータ転送の最適化 (2012)
  • 著者名/発表者名: 白幡晃一、佐藤仁、鈴村豊太郎、松岡聡
  • 学会等名: 情報処理学会研究報告 2012-HPC-133
  • 発表場所: 有馬ビューホテルうらら(兵庫県)
• [学会発表] Hadoop on the Tsubame2.0 Supercomputer (2011)
  • 著者名/発表者名: Hitoshi Sato and Satoshi Matsuoka
  • 学会等名: In Proceedings of the 6th International Conference on Ubiquitous Information and Technologies & Applications
  • 発表場所: Seoul, Korea
  • 年月日: 2011-12-15
• [学会発表] GPGPU を用いた高速大規模グラフ処理に向けて (2011)
  • 著者名/発表者名: 白幡晃一、佐藤仁、鈴村豊太郎、松岡聡
  • 学会等名: 情報処理学会研究報告 2011-HPC-130
  • 発表場所: かごしま県民交流センター(鹿児島県)
• [学会発表] 細粒度 I/O を考慮したオンデマンド階層型データストアの実現にむけて (2011)
  • 著者名/発表者名: 佐藤仁、松岡聡
  • 学会等名: 情報処理学会研究報告 2011-HPC-130
  • 発表場所: かごしま県民交流センター(鹿児島県)
• [学会発表] 大規模並列ファイルシステムに対するワークフローアプリケーションの I/O 性能解析 (2011)
  • 著者名/発表者名: 斎藤貴文、佐藤仁、松岡聡
  • 学会等名: 情報処理学会研究報告 2011-HPC-130
  • 発表場所: かごしま県民交流センター(鹿児島県)
• [学会発表] Hadoop on the Tsubame2.0 Supercomputer (2011)
  • 著者名/発表者名: Hitoshi Sato, Satoshi Matsuoka
  • 学会等名: the 6th International Conference on Ubiquitous Information and Technologies & Applications
  • 発表場所: Coex(韓国ソウル)
• [学会発表] A GPU Implementation of Generalized Graph Processing Algorithm GIM-V
  • 著者名/発表者名: Koichi Shirahata
  • 学会等名: In Proceedings of the 3rd International Workshop on Parallel Algorithm and Parallel Software (IWPAPS 2012)
  • 発表場所: Delft, the Netherlands
• [学会発表] A Scalable Implementation of a MapReduce-based Graph Algorithm for Large-scale Heterogeneous Supercomputers
  • 著者名/発表者名: Koichi Shirahata
  • 学会等名: GPU Technology Conference 2013 (GTC2013)
  • 発表場所: San Jose, USA
• [学会発表] 大規模ヘテロ型スーパーコンピュータ向けデータ並列処理フレームワークの設計と実装
  • 著者名/発表者名: 佐藤 仁
  • 学会等名: 情報処理学会研究報告 2012-HPC-138
  • 発表場所: 芦原温泉, 福井県
• [学会発表] A GPU Implementation of Generalized Graph Processing Algorithm GIM-V
  • 著者名/発表者名: Koichi Shirahata
  • 学会等名: The 3rd International Workshop on Parallel Algorithm and Parallel Software (IWPAPS 2012)
  • 発表場所: Beijing, China
• [備考] HadoopGPU拡張公開ページ
  • URL: https://github.com/koichi626/hadoop-gpu.git
• [備考] Hadoop GPU拡張 公開ページ
  • URL: https://github.com/koichi626/hadoop-gpu.git