• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Annual Research Report

広域環境における大規模データ処理の最適化

Research Project

Project/Area Number 12J08253
Research InstitutionTokyo Institute of Technology

Principal Investigator

佐藤 賢斗  東京工業大学, 大学院情報理工学研究科, 特別研究員(DC2)

Keywordsスーパーコンピュータ / 大規模データ処理
Research Abstract

平成25年度の研究目的である、書き込み処理も考慮した、データ・マイグレーションとプロセス・マイグレーションを併用したハイブリット型マイグレーションアルゴリズムの開発を行った。具体的には、FMI (Fault Tolerant Messaging Interface)の開発を行った。これは、プロセスを別のマシン上に移動(プロセス・マイグレーション)することが可能であり、また、符号化技術(XOR encodingを使用)を用いることにより、プロセスが保持しているデータも同時にマイグレーション先のマシンへ移動(データ・マイグレーション)することが可能である。特に、データ・マイグレーションでは、従来、仮想マシンのマイグレーションなどで使用されるストレージを介することなく、直接メモリを介してデータをマイグレーションすることにより、高速なマイグレーションを実現した。一般に、既存のシステムにマイグレーション機能を備えると、それに伴うオーバーヘッドがかかってしまうが、FMIでは既存の通信ライブラリ(MPI)と比べ、遅延(MPI : 3.555usec, FMI : 3.573usec)、及びスループット(MPI : 3.227GB/s, 3.211GB/s)に於いて、共にMPIと同等の性能を備えている。このような、オーバーヘッドを最小限に抑え、且つ、データ・マイグレーションとプロセス・マイグレーションを同時に行う通信ライブラリは世界で初の試みである。実際、昨年度に引き続き、今年度も大変選別の厳しい国際会議IPDPS(採択率 : 21%)に採択(2014年5月に掲載確定)され、国際的に高く評価された。また、本研究課題で開発したFMIは、今後2018年ごろに登場が目されているエクサ・スケール・スーパーコンピュータ(一秒間に1018回の浮動小数点演算を行うマシン)の耐障害技術への応用が可能であり、HPC分野においてますます注目を集めつつ有り、国際的インパクトは非常に高い。

Strategy for Future Research Activity

(抄録なし)

  • Research Products

    (6 results)

All 2014 2013 Other

All Journal Article (3 results) (of which Peer Reviewed: 1 results) Presentation (2 results) (of which Invited: 1 results) Remarks (1 results)

  • [Journal Article] Energy-aware I/O Optimization for Checkpoint and Restart on a NAND Flash Memory System2013

    • Author(s)
      Takafumi Saito, Kento Sato, Hitoshi Sato, Satoshi Matsuoka
    • Journal Title

      In the Workshop on Fault-Tolerance for HPC at Extreme Seale 2013 (FTXS2013) in conjunction with the Intemational Symposium on High Performance Parallel and Distributed Computing (HPDC13)

      Pages: 41-47

    • DOI

      10.1145/2465813.2465822

    • Peer Reviewed
  • [Journal Article] Burst SSD Buffer : Checkpoint Strategy at Extreme Scale2013

    • Author(s)
      Kento Sato, Satoshi Matsuoka, Adam Moody, Kathryn Mohror, Todd Gamblin, Bronis R. de Supinski, Naoya Maruyama
    • Journal Title

      IPSJ SIG Tbchnical Reports

      Volume: 2013-HPC-141(19) Pages: 1-9

  • [Journal Article] エクサスケールスパコンに向けた耐故障性の評価---TSUBAME2.0を例にして---2013

    • Author(s)
      松岡 聡, 佐藤 賢斗, 遠藤 敏夫
    • Journal Title

      IPSJ SIG Technical Reports

      Volume: 2013-HPC-141(22) Pages: 1-8

  • [Presentation] I/O acceleration with GPU for I/O-bound Applications2014

    • Author(s)
      Kento Sato, Akira Nukada, Naoya Maruyama, Satoshi Matsuoka
    • Organizer
      GPU Tbchnology Conference2014
    • Place of Presentation
      San Jose McEnery Convention Center, San Jose, USA
    • Year and Date
      2014-03-24
  • [Presentation] Checkpointing and Lustre2013

    • Author(s)
      Kento Sato
    • Organizer
      Japan Lustre Users Group 2013
    • Place of Presentation
      Midtown conference, Tokyo
    • Year and Date
      2013-10-17
    • Invited
  • [Remarks]

    • URL

      http://matsu-www.is.titech.ac.jp/~kent/

URL: 

Published: 2015-07-15  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi