2022 Fiscal Year Research-status Report

次世代データサイエンスのための不揮発性メモリを用いたストレージシステムの研究

Research Project

Project/Area Number	22K17897
Research Institution	University of Tsukuba
Principal Investigator	平賀弘平筑波大学, 計算科学研究センター, 研究員 (20937122)
Project Period (FY)	2022-04-01 – 2024-03-31
Keywords	ストレージ / 不揮発性メモリ / 並列IO / HPC / MPI-IO
Outline of Annual Research Achievements	近年登場した不揮発性メモリ(PMEM)は，従来のハードディスクやSSD等のストレージデバイスとは違うデバイス特性を持っており，既存のストレージシステムでは性能を最大限引き出せない問題がある．このPMEMデバイスを計算ノードに搭載したスーパーコンピュータが登場しているが，既存のストレージシステムからは有効に活用できていない．これらの問題を解決するため，本研究では，HPC分野で広く利用されているMPI-IOから計算ノードローカルのPMEMを利用可能にするストレージシステムの研究を行った． MPI-IOを用いることで，既にMPI-IOを利用しているアプリケーションのコードを変更することなくI/O高速化が可能となる．MPI-IOを直接利用していないが，MPI-IOを前提としているHDF5やnetCDFを利用しているアプリケーションの高速化もまた可能である．これまでに，MPI-IOから直接PMEMを利用可能にするMPI-IO/PMEMと，PMEMに最適化された分散ファイルシステムCHFSをMPI-IOから利用可能にするMPI-IO/CHFSを開発し，性能評価を行った． MPI-IO/PMEMは，PMEMに最適化した故障時に不整合が発生しない専用のファイルデータ構造を設計し実装した．その結果，MPI-IO/PMEMは，IORの書き込みにおいて既存のストレージシステムであるXFS-DAXと比べ，4.39倍である10.35 GiB/sのピークスループットを達成した． MPI-IO/CHFSは，IORの評価に加えてHPCの実アプリケーションであるRDBenchとLESBenchでの評価を行った．RDBenchはMPI-IOを利用する典型的なHPCアプリケーションであり，ストレージ性能を評価することを目的としたベンチマークとして本研究において開発した．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason MPI-IO/PMEMについては，既存のストレージシステムと比べて大幅な書き込み性能向上が達成できるのを確認できた．これは，従来のストレージシステムがPOSIXという強い一貫性が求められるセマンティクスを満たす必要があり，またPMEMに十分に最適化できていないために性能が制限されているためである．一方でMPI-IO/PMEMはMPI-IOのセマンティクスに従うことでそのような制限がなく，PMEMに十分に最適化した結果，4.39倍という大幅な書き込み性能向上が達成できた．MPI-IO/PMEMは実アプリケーションの評価をまだ行えていないが，上記の結果より書き込みがボトルネックになるHPCアプリケーションの高速化が十分に期待できる．また，実アプリケーションのI/O性能を定量的に評価を行うためのツールとして，RDBenchを新たに開発した． MPI-IO/CHFSについては，既にIORによるマイクロベンチマークと，RDBenchとLESBenchによる実アプリケーション評価を行っている．さらに，MPI-IO/CHFSでは，計算ノードローカルのPMEMに書いたデータを，最終的に共有ファイルシステムにステージアウトするまでの性能についても評価を行っている． RDBench評価では，既存の共有ファイルシステムであるLustreと比較して3.08倍の書き込みスループット向上を達成した．このことから，MPI-IOを通じてPMEMを活用し，HPCアプリケーションのI/Oを高速化する目的を達成しつつあると言える．
Strategy for Future Research Activity	今後は研究計画に従い，(1) PMEM上のデータを直接参照することでデータ読み込みの高速化を行うストレージシステムの設計，実装を行い，(2) マイクロベンチマークと実アプリケーションを用いて，PMEM実デバイスを用いて評価を行っていく． (1)では，PMEM上に構築する永続データ構造と，データを参照するためのインデックスデータ構造としてどのようなものが有効なのかを明らかにし，またInfiniBandのRemote Direct Memory Access機能を用いて，リモートの計算機上のPMEMに読み書きを実現し，(2)の評価において有効性の検証を行う予定である．これまでの研究により，リモート計算機上のデータ読み書きが，アプリケーションの計算中に行われる通信に影響を与えることがわかったため，これについても評価を通じて明らかにしていく予定である．
Causes of Carryover	Intel社のOptane DC Persistent Memory事業が2022年夏頃に中断となり，新たな不揮発性メモリ搭載の実験用サーバーを購入するのが困難となったため．実験用サーバーについては所属研究機関所有の既存のサーバーの利用に変えることとし，また，状況が変化したため次年度使用額は情報収集のための旅費と，そのための物品費に充てる．