• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

広域環境における大規模データ処理の最適化

研究課題

研究課題/領域番号 12J08253
研究種目

特別研究員奨励費

配分区分補助金
応募区分国内
研究分野 計算機システム・ネットワーク
研究機関東京工業大学

研究代表者

佐藤 賢斗  東京工業大学, 大学院情報理工学研究科, 特別研究員(DC2)

研究期間 (年度) 2012 – 2013
研究課題ステータス 完了 (2013年度)
配分額 *注記
1,800千円 (直接経費: 1,800千円)
2013年度: 900千円 (直接経費: 900千円)
2012年度: 900千円 (直接経費: 900千円)
キーワードスーパーコンピュータ / 大規模データ処理 / チェックポイント・リスタート / プロセス・マイグレーション / Infiniband
研究概要

平成25年度の研究目的である、書き込み処理も考慮した、データ・マイグレーションとプロセス・マイグレーションを併用したハイブリット型マイグレーションアルゴリズムの開発を行った。具体的には、FMI (Fault Tolerant Messaging Interface)の開発を行った。これは、プロセスを別のマシン上に移動(プロセス・マイグレーション)することが可能であり、また、符号化技術(XOR encodingを使用)を用いることにより、プロセスが保持しているデータも同時にマイグレーション先のマシンへ移動(データ・マイグレーション)することが可能である。特に、データ・マイグレーションでは、従来、仮想マシンのマイグレーションなどで使用されるストレージを介することなく、直接メモリを介してデータをマイグレーションすることにより、高速なマイグレーションを実現した。一般に、既存のシステムにマイグレーション機能を備えると、それに伴うオーバーヘッドがかかってしまうが、FMIでは既存の通信ライブラリ(MPI)と比べ、遅延(MPI : 3.555usec, FMI : 3.573usec)、及びスループット(MPI : 3.227GB/s, 3.211GB/s)に於いて、共にMPIと同等の性能を備えている。このような、オーバーヘッドを最小限に抑え、且つ、データ・マイグレーションとプロセス・マイグレーションを同時に行う通信ライブラリは世界で初の試みである。実際、昨年度に引き続き、今年度も大変選別の厳しい国際会議IPDPS(採択率 : 21%)に採択(2014年5月に掲載確定)され、国際的に高く評価された。また、本研究課題で開発したFMIは、今後2018年ごろに登場が目されているエクサ・スケール・スーパーコンピュータ(一秒間に1018回の浮動小数点演算を行うマシン)の耐障害技術への応用が可能であり、HPC分野においてますます注目を集めつつ有り、国際的インパクトは非常に高い。

今後の研究の推進方策

(抄録なし)

報告書

(2件)
  • 2013 実績報告書
  • 2012 実績報告書
  • 研究成果

    (11件)

すべて 2014 2013 2012 その他

すべて 雑誌論文 (6件) (うち査読あり 3件) 学会発表 (3件) (うち招待講演 1件) 備考 (2件)

  • [雑誌論文] Energy-aware I/O Optimization for Checkpoint and Restart on a NAND Flash Memory System2013

    • 著者名/発表者名
      Takafumi Saito, Kento Sato, Hitoshi Sato, Satoshi Matsuoka
    • 雑誌名

      In the Workshop on Fault-Tolerance for HPC at Extreme Seale 2013 (FTXS2013) in conjunction with the Intemational Symposium on High Performance Parallel and Distributed Computing (HPDC13)

      巻: - ページ: 41-47

    • DOI

      10.1145/2465813.2465822

    • 関連する報告書
      2013 実績報告書
    • 査読あり
  • [雑誌論文] Burst SSD Buffer : Checkpoint Strategy at Extreme Scale2013

    • 著者名/発表者名
      Kento Sato, Satoshi Matsuoka, Adam Moody, Kathryn Mohror, Todd Gamblin, Bronis R. de Supinski, Naoya Maruyama
    • 雑誌名

      IPSJ SIG Tbchnical Reports

      巻: 2013-HPC-141(19) ページ: 1-9

    • 関連する報告書
      2013 実績報告書
  • [雑誌論文] エクサスケールスパコンに向けた耐故障性の評価---TSUBAME2.0を例にして---2013

    • 著者名/発表者名
      松岡 聡, 佐藤 賢斗, 遠藤 敏夫
    • 雑誌名

      IPSJ SIG Technical Reports

      巻: 2013-HPC-141(22) ページ: 1-8

    • NAID

      110009606443

    • 関連する報告書
      2013 実績報告書
  • [雑誌論文] Design and Modeling of a Non-Blocking Checkpoint System2012

    • 著者名/発表者名
      Kento Sato, Adam Moody, Kathryn Mohror, Todd Gamblin, Bronis R. de Supinski, Naoya Maruyama, Satoshi Matsuoka
    • 雑誌名

      In Proceedings of the International Conference on HighPerformance Computing, Networking, Storage and Analysis (SC'12)

    • 関連する報告書
      2012 実績報告書
    • 査読あり
  • [雑誌論文] Scalable Multi-GPU 3-D FFT for TSUBAME 2.0 Supercomputer2012

    • 著者名/発表者名
      Akira Nukada, Kento Sato, Satoshi Matsuoka
    • 雑誌名

      In Proceedings of the International Conference on HighPerformance Computing, Networking, Storage and Analysis (SC'12)

    • 関連する報告書
      2012 実績報告書
    • 査読あり
  • [雑誌論文] Design and Modeling of an Asynchronous Checkpointing System2012

    • 著者名/発表者名
      Kento Sato, Adam Moody, Kathryn Mohror, Todd Gamblin, Bronis R. de Supinski, Naoya Maruyama and Satoshi Matsuoka
    • 雑誌名

      IPSJ SIG Technical Reports 2012-HPC-135

      巻: 2012-HPC-135 ページ: 1-8

    • 関連する報告書
      2012 実績報告書
  • [学会発表] I/O acceleration with GPU for I/O-bound Applications2014

    • 著者名/発表者名
      Kento Sato, Akira Nukada, Naoya Maruyama, Satoshi Matsuoka
    • 学会等名
      GPU Tbchnology Conference2014
    • 発表場所
      San Jose McEnery Convention Center, San Jose, USA
    • 年月日
      2014-03-24
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Checkpointing and Lustre2013

    • 著者名/発表者名
      Kento Sato
    • 学会等名
      Japan Lustre Users Group 2013
    • 発表場所
      Midtown conference, Tokyo
    • 年月日
      2013-10-17
    • 関連する報告書
      2013 実績報告書
    • 招待講演
  • [学会発表] Towards a Light-weight Non-blocking Checkpointing System2012

    • 著者名/発表者名
      Kento Sato,、Adam Moody, Kathryn Mohror, Tbdd Gamblin, Bronis R. de Supinski, Naoya Maruyama, Satoshi Matsuoka
    • 学会等名
      In HPC in Asia Workshop in conjunction with the 2012 International Supercomputing Conference (ISC'12) (Poster)
    • 発表場所
      Congress Center Hamburg, Hamburg, Germany
    • 年月日
      2012-06-17
    • 関連する報告書
      2012 実績報告書
  • [備考]

    • URL

      http://matsu-www.is.titech.ac.jp/~kent/

    • 関連する報告書
      2013 実績報告書
  • [備考]

    • URL

      http://matsu-www.is.titech.ac.jp/~kent/

    • 関連する報告書
      2012 実績報告書

URL: 

公開日: 2013-04-25   更新日: 2024-03-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi