• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Persistent memory-based storage systems for next-generation data science

Research Project

Project/Area Number 22K17897
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 60090:High performance computing-related
Research InstitutionUniversity of Tsukuba

Principal Investigator

HIRAGA Kohei  筑波大学, 計算科学研究センター, 研究員 (20937122)

Project Period (FY) 2022-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Keywords高性能計算 / ストレージ / I/O / 不揮発性メモリ / 片側通信 / RDMA / MPI-IO / 並列IO / HPC / ストレージシステム
Outline of Research at the Start

本研究は,スーパーコンピュータの計算ノード上の不揮発性メモリを活用して,AI学習や計算科学シミュレーションをはじめとするデータサイエンスアプリケーションの,I/Oを高速化するためのストレージシステムを設計し評価する.
特に,高性能計算分野ですでに広く利用されているMPI-IOライブラリや,MPI-IOを前提とするHDF5やNetCDFを通じて,アプリケーションが不揮発性メモリを簡単に効率よく利用可能にすることを目標にする.

Outline of Final Research Achievements

In this research, we developed a storage system called "PEANUTS", which utilizes persistent memory for supercomputers supporting high-performance computing. PEANUTS primarily aims to enhance the parallel read and write operations of single shared files, crucial in data science, addressing performance issues in large-scale environments that conventional storage systems struggled to resolve. By efficiently combining high-speed communication devices with persistent memory, these challenges were overcome, and data transfer speeds were significantly improved. This advancement suggests the potential for the use of large single shared files to become a standard I/O framework in data science.

Academic Significance and Societal Importance of the Research Achievements

学術的意義として,本研究は不揮発性メモリと高速通信デバイスの特性を活かし,
データサイエンスにおけるI/O課題を解決するストレージシステムの設計と最適化手法を明らかにした.これにより,高性能計算におけるストレージシステムの新たな標準を設定し,次世代の計算機設計への理解を深める貢献をしている.
社会的意義としては,データサイエンスアプリケーションのデータアクセスの高速化と効率化により,新たな科学的発見やビジネスインサイトの獲得が加速され,広範囲の分野にわたってイノベーションが促進されることが期待される.

Report

(3 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • Research Products

    (18 results)

All 2024 2023 2022 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (12 results) (of which Int'l Joint Research: 5 results) Remarks (4 results)

  • [Journal Article] PEANUTS: A Persistent Memory-Based Network Unilateral Transfer System for Enhanced MPI-IO Data Transfer2024

    • Author(s)
      Kohei Hiraga, Osamu Tatebe
    • Journal Title

      Euro-Par 2024: Parallel Processing - 30th International Conference on Parallel and Distributed Computing, Madrid, Spain, August 26-30, 2024, Proceedings

      Volume: -

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] I/O-Aware Flushing for HPC Caching Filesystem2023

    • Author(s)
      Osamu Tatebe, Kohei Hiraga, Hiroki Ohtsuji
    • Journal Title

      2023 IEEE International Conference on Cluster Computing Workshops (CLUSTER Workshops)

      Volume: 1 Pages: 11-17

    • DOI

      10.1109/clusterworkshops61457.2023.00012

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Presentation] PMEMBB: 不揮発性メモリとMPI片側通信を用いたMPI-IOバーストバッファの設計2024

    • Author(s)
      平賀弘平,建部 修見
    • Organizer
      第193回 情報処理学会ハイパフォーマンスコンピューティング (HPC)研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] PEANUTS: A Persistent Memory-Based Network Unilateral Transfer System for Enhanced MPI-IO Data Transfer2024

    • Author(s)
      Kohei Hiraga, Osamu Tatebe
    • Organizer
      Euro-Par 2024: 30th International European Conference on Parallel and Distributed Computing
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] FINCHFS: Design of Ad-hoc File System for High-Performance Computing Workload2024

    • Author(s)
      Sohei Koyama, Kohei Hiraga, Osamu Tatebe
    • Organizer
      22nd USENIX Conference on File and Storage Technologies (FAST 24)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] I/O-Aware Flushing for HPC Caching Filesystem2024

    • Author(s)
      Osamu Tatebe, Kohei Hiraga, Hiroki Ohtsuji
    • Organizer
      4th Workshop on Re-envisioning Extreme-Scale I/O for Emerging Hybrid HPC Workloads (REX-IO 24)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Accelerating I/O in Distributed Data Processing Systems with Apache Arrow CHFS2024

    • Author(s)
      Sohei Koyama, Kohei Hiraga, Osamu Tatebe
    • Organizer
      4th Workshop on Re-envisioning Extreme-Scale I/O for Emerging Hybrid HPC Workloads (REX-IO 24)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Pegasusビッグメモリスーパコンピュータの性能評価2023

    • Author(s)
      建部 修見,平賀弘平,前田 宗則,藤田 典久,小林 諒平,額田 彰
    • Organizer
      第190回 情報処理学会ハイパフォーマンスコンピューティング (HPC)研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] RustのUCXラッパーasync-ucxの性能評価2023

    • Author(s)
      中野 将生,平賀弘平,建部 修見
    • Organizer
      第192回 情報処理学会ハイパフォーマンスコンピューティング (HPC)研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] FINCHFS: アドホック並列ファイルシステムの設計2023

    • Author(s)
      小山 創平,平賀弘平,建部 修見
    • Organizer
      第192回 情報処理学会ハイパフォーマンスコンピューティング (HPC)研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Apache Arrow CHFSによるビッグデータ処理のI/O高速化2023

    • Author(s)
      小山 創平,平賀弘平,建部 修見
    • Organizer
      第190回 情報処理学会ハイパフォーマンスコンピューティング (HPC)研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Fast Checkpointing of Large Language Models with TensorStore CHFS2023

    • Author(s)
      Sohei Koyama, Kohei Hiraga, Osamu Tatebe
    • Organizer
      The International Conference for High Performance Computing Networking, Storage and Analysis (SC '23)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] HPC環境を想定した探索的データ解析におけるノードローカルストレージの利用の検討2022

    • Author(s)
      巨畠 和樹, 小山 創平, 平賀 弘平, 建部 修見
    • Organizer
      第185回 情報処理学会ハイパフォーマンスコンピューティング (HPC)研究発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] MPI-IO/CHFS: ノードローカル不揮発性メモリを活用するアドホック分散ファイルシステムのためのMPI-IOの設計2022

    • Author(s)
      平賀 弘平, 建部 修見
    • Organizer
      第185回 情報処理学会ハイパフォーマンスコンピューティング (HPC)研究発表会
    • Related Report
      2022 Research-status Report
  • [Remarks] The core library of PEANUTS

    • URL

      https://github.com/tsukuba-hpcs/peanuts

    • Related Report
      2023 Annual Research Report
  • [Remarks] PEANUTS integrated with OpenMPI

    • URL

      https://github.com/tsukuba-hpcs/ompi-peanuts

    • Related Report
      2023 Annual Research Report
  • [Remarks] Artifact Evaluation Environment for PEANUTS

    • URL

      https://github.com/tsukuba-hpcs/peanuts-playground

    • Related Report
      2023 Annual Research Report
  • [Remarks] rdbench

    • URL

      https://github.com/range3/rdbench

    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi