2023 Fiscal Year Annual Research Report
次世代データサイエンスのための不揮発性メモリを用いたストレージシステムの研究
| Project/Area Number |
22K17897
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
平賀 弘平 筑波大学, 計算科学研究センター, 研究員 (20937122)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Keywords | 高性能計算 / ストレージ / I/O / 不揮発性メモリ / MPI-IO / RDMA / 片側通信 |
|---|
| Outline of Annual Research Achievements |
不揮発性メモリを活用した次世代ストレージシステムの研究において，最終年度では新たにPEANUTS (PErsistent memory And Network Unilateral Transfer System)の開発と性能評価を主軸に進めた．PEANUTSはMPI-IOとの統合により，計算ノード上の不揮発性メモリを透過的に利用可能とし，特にデータサイエンスアプリケーションで重要であるにもかかわらず従来の並列ファイルシステムが不得手としていた，単一共有ファイルへの並列I/Oの高速化を実現した．
また，最新かつ最後の不揮発性メモリを搭載した世界で唯一のスーパーコンピュータ「Pegasus」の基礎的な評価を行い，PEANUTSとの統合評価によりその有効性を検証した．100ノード，4800プロセスからなる大規模環境での評価では，書き込み速度2.47 TB/s，リモート読み取り速度2.39 TB/s，ローカル読み取り速度7.75 TB/sを記録し，ハードウェアの性能限界に近い結果を示した．これは既存研究の最先端システムと比較しても大幅な性能向上を達成している．さらに，PEANUTSの実アプリケーションへの適用評価も行い，データサイエンスアプリケーションを高速化できることを示した．
本研究は研究計画以上に進捗し，研究目的であった，不揮発性メモリのデバイス特性とRDMA片側通信を生かしたストレージシステムによってデータサイエンスを高速化できることを明らかにした．PEANUTSによってこれまで性能問題によって不可能であった大規模単一共有ファイルの利用がデータサイエンスにおける標準的なI/Oフレームワークとなる可能性を示唆しており，従来の性能制限を克服する実行可能なソリューションを示した点が重要な成果と言える．
|
| Remarks |
本研究で開発したソフトウェアPEANUTSとそのOpenMPI統合，およびPEANUTSの論文中の評価を再現するための環境
|
