研究課題
不揮発性メモリを活用した次世代ストレージシステムの研究において，最終年度では新たにPEANUTS (PErsistent memory And Network Unilateral Transfer System)の開発と性能評価を主軸に進めた．PEANUTSはMPI-IOとの統合により，計算ノード上の不揮発性メモリを透過的に利用可能とし，特にデータサイエンスアプリケーションで重要であるにもかかわらず従来の並列ファイルシステムが不得手としていた，単一共有ファイルへの並列I/Oの高速化を実現した．また，最新かつ最後の不揮発性メモリを搭載した世界で唯一のスーパーコンピュータ「Pegasus」の基礎的な評価を行い，PEANUTSとの統合評価によりその有効性を検証した．100ノード，4800プロセスからなる大規模環境での評価では，書き込み速度2.47 TB/s，リモート読み取り速度2.39 TB/s，ローカル読み取り速度7.75 TB/sを記録し，ハードウェアの性能限界に近い結果を示した．これは既存研究の最先端システムと比較しても大幅な性能向上を達成している．さらに，PEANUTSの実アプリケーションへの適用評価も行い，データサイエンスアプリケーションを高速化できることを示した．本研究は研究計画以上に進捗し，研究目的であった，不揮発性メモリのデバイス特性とRDMA片側通信を生かしたストレージシステムによってデータサイエンスを高速化できることを明らかにした．PEANUTSによってこれまで性能問題によって不可能であった大規模単一共有ファイルの利用がデータサイエンスにおける標準的なI/Oフレームワークとなる可能性を示唆しており，従来の性能制限を克服する実行可能なソリューションを示した点が重要な成果と言える．
本研究で開発したソフトウェアPEANUTSとそのOpenMPI統合，およびPEANUTSの論文中の評価を再現するための環境
すべて 2024 2023 その他
すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (10件) (うち国際学会 5件) 備考 (3件)
Euro-Par 2024: Parallel Processing - 30th International Conference on Parallel and Distributed Computing, Madrid, Spain, August 26-30, 2024, Proceedings
巻: － ページ: －
2023 IEEE International Conference on Cluster Computing Workshops (CLUSTER Workshops)
巻: 1 ページ: 11-17
10.1109/CLUSTERWorkshops61457.2023.00012
https://github.com/tsukuba-hpcs/peanuts
https://github.com/tsukuba-hpcs/ompi-peanuts
https://github.com/tsukuba-hpcs/peanuts-playground
