Development of Scalable Non-Blocking Communication Layer with NVDIMM as a Buffer

2021 Fiscal Year Annual Research Report

• Project/Area Number: 19K11991
• Research Institution: Kyushu University
• Principal Investigator: 南里 豪志 九州大学, 情報基盤研究開発センター, 准教授 (70284578)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 不揮発性メモリ / 通信ライブラリ / 並列計算 / 高性能計算 / 高性能通信 / 非同期通信

Outline of Annual Research Achievements

本研究では、大規模並列計算環境において超メッセージの通信を隠蔽可能とするスケーラブルな非同期通信レイヤHyBuf-MPを実装し、その実用性を検証した。この通信レイヤの特徴は、通信隠蔽に必要なEagerプロトコルのバッファ領域として、DRAMだけでなくNVDIMMも利用可能とすることで、通信用のDRAMの消費を最小限に抑えつつ、超メッセージの通信隠蔽を実現できる点である。初年度で、InfiniBandの低レベル通信インタフェース IBverbsからNVDIMMを直接アクセスするKMEM DAXドライバでこのバッファを試験的に実装し、十分実用的な性能が得られることを確認した。さらに２年度以降、Intel Memkindライブラリと Intel librpmaライブラリを用いた実装に取り組んだ。これにより、DRAMと NVDIMMそれぞれについて、任意の大きさの領域を実行中に確保、解放することが可能となった。その結果、高速性が求められる通信相手に対してDRAM上のバッファを利用し、それ以外の通信相手に対してNVDIMM上のバッファを利用する、という選択を低遅延で行えるようになった。さらに、この選択について、プログラムの実行状況に応じて自動的に選択する技術を開発した。
本研究の成果として、研究計画時の予想の通り、InfiniBandの通信遅延とNVDIMMのアクセス遅延が同程度であることから、これらを組み合わせた通信バッファが、DRAMの節約と通信隠蔽に効果的であることが確認できた。この成果は、InfiniBandとNVDIMMを組み合わせたさらに高度な通信ミドルウェアの実現に向けた重要な知見である。