Persistent memory-based storage systems for next-generation data science

2023 Fiscal Year Final Research Report

• Project/Area Number: 22K17897
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 60090:High performance computing-related
• Research Institution: University of Tsukuba
• Principal Investigator: HIRAGA Kohei 筑波大学, 計算科学研究センター, 研究員 (20937122)
• Project Period (FY): 2022-04-01 – 2024-03-31
• Keywords: 高性能計算 / ストレージ / I/O / 不揮発性メモリ / 片側通信 / RDMA / MPI-IO

Outline of Final Research Achievements

In this research, we developed a storage system called "PEANUTS", which utilizes persistent memory for supercomputers supporting high-performance computing. PEANUTS primarily aims to enhance the parallel read and write operations of single shared files, crucial in data science, addressing performance issues in large-scale environments that conventional storage systems struggled to resolve. By efficiently combining high-speed communication devices with persistent memory, these challenges were overcome, and data transfer speeds were significantly improved. This advancement suggests the potential for the use of large single shared files to become a standard I/O framework in data science.

Free Research Field

高性能計算

Academic Significance and Societal Importance of the Research Achievements

学術的意義として，本研究は不揮発性メモリと高速通信デバイスの特性を活かし，
データサイエンスにおけるI/O課題を解決するストレージシステムの設計と最適化手法を明らかにした．これにより，高性能計算におけるストレージシステムの新たな標準を設定し，次世代の計算機設計への理解を深める貢献をしている．
社会的意義としては，データサイエンスアプリケーションのデータアクセスの高速化と効率化により，新たな科学的発見やビジネスインサイトの獲得が加速され，広範囲の分野にわたってイノベーションが促進されることが期待される．