Development of Scalable Non-Blocking Communication Layer with NVDIMM as a Buffer

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K11991
• Research Institution: Kyushu University
• Principal Investigator: 南里 豪志 九州大学, 情報基盤研究開発センター, 准教授 (70284578)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 並列計算 / 高性能通信 / 不揮発性メモリ / 非同期通信

Outline of Annual Research Achievements

NVDIMM上のバッファによる非同期通信技術の研究開発に取り組んだ。まず、基礎実験として、NVDIMMを対象に RDMA通信を行うベンチマークプログラムを作成し、通常のDRAMと同様に通信が可能であることを確認するとともに、基本性能を計測した。その後、NVDIMMにバッファ領域を配置した非同期通信インタフェースを実装した。これは、任意のプロセス対の間で、送信側からenqueueしたメッセージを受信側がdequeueする、片方向のメッセージパッシングシステムである。バッファを送信側のNVDIMMに設置し、受信側からRDMA Get命令でメッセージを取得するPull型と、バッファを受信側のNVDIMMに設置し、送信側からRDMA Put命令でメッセージを書き込むPush型を実装し、性能を比較した。その結果、Push型は、Pull型に比べてメッセージサイズの増加に伴うメモリコピーのオーバヘッドの影響を受けやすいものの、送信側のプロセスにおいて、enqueue発行直後に別の処理を開始できることから、通信隠蔽効果が高いことが分かった。また、同様の実験を、DRAM上にバッファを配置した場合と比較して、所要時間に大きな違いが見られないことを確認した。
今回の実験結果より、NVDIMMが非同期通信の通信バッファとして十分実用的であること、および、メッセージサイズや通信隠蔽の可否によって適切な実装手段が異なることが判明した。さらに、Push型、Pull型、それぞれについて、DRAMを使用する実装とNVDIMMを使用する実装を用意し、プログラム上で選択して利用することが可能となった。このように、2019年度に予定していた研究は、計画通り進捗している。
来年度に向けて、現在、自動切換え技術の開発に取り組んでいる。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2019年度の研究開発項目は、NVDIMM上の非同期通信の実装、および、実行中の使用バッファ切替技術の研究開発である。非同期通信については、バッファを送信側に置くPull型と送信側に置くPush型の二通りのプロトコルで実装した。また、使用バッファ切替技術については、バッファをNVDIMMに配置するものと、DRAMに配置するものを用意し、プログラム側で選択できるようにした。また、これらの実装について、性能評価を行い、実装手段の自動選択に向けた性能データの収集も行うことが出来た。このように、予定通り研究が進捗している。

Strategy for Future Research Activity

2019年度に実装した非同期通信インタフェースと、実験で得られた性能データに基づいて、2020年度後半から2021年度にかけて、プログラムの実行状況に応じて使用バッファを切り替える技術の研究開発に取り組む。

Causes of Carryover

NVDIMM搭載クラスタとして4ノードの購入を予定していたが、1ノードの価格が想定よりも高額だったことから、2019年度は1ノードのみを購入し、これと既設のサーバによる2ノードの実験を行った。繰り越した予算は、今後、サーバがより安価になるのを待って、ノード増設に充てる予定である。