Development of Scalable Non-Blocking Communication Layer with NVDIMM as a Buffer

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K11991
• Research Institution: Kyushu University
• Principal Investigator: 南里 豪志 九州大学, 情報基盤研究開発センター, 准教授 (70284578)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 不揮発性メモリ / 通信ライブラリ / 並列計算 / 高性能計算

Outline of Annual Research Achievements

本年度は、昨年度作成した非同期通信レイヤのプロトタイプについて、使用バッファをDRAMと NVDIMMの間で切り替える機構の実装を行った。この機構の実装には、DRAMと NVDIMMそれぞれについて、任意の大きさの領域を実行中に確保、解放する仕組みが必要である。そこで、まず、Linuxの KMEM DAXドライバを用いて、NVDIMM領域をメモリのみのNUMAノードとして扱えるよう設定した。そのうえで、Intel社が作成、公開しているMemkindライブラリ (http://memkind.github.io/memkind/) を利用することにより、プログラム中で任意の大きさの NVDIMM領域を確保・解放することが可能となった。これにより、従来の mallocで確保したDRAM上のバッファと、Memkindライブラリで確保したNVDIMM上のバッファを用意し、プログラム内で自由に選択できるようにした。この機構を実装して、DRAMと NVDIMMの間でバッファの切り替えが低遅延で実現できることを確認した。現在、この機構上に実装する、実行状況に応じたバッファ自動選択技術の設計中である。基本的には、バッファごとに実行開始からの通信回数と通信量、および直近の通信履歴を記録しておき、特に低遅延性が求められる小サイズ高頻度の通信に優先的にDRAMのバッファを割り当てる、という方針での実装を目指している。また、昨年度作成した非同期通信レイヤの基本性能評価として、DRAMとNVDIMMのメモリチャネルへの配置の違いによる性能への影響についても調査した。その結果、同じチャネルにDRAMとNVDIMMが混在する構成において、ローカルの読み書き性能が若干低下するものの、通信レイヤの性能には影響がないことを確認した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度の研究課題であるDRAMバッファとNVDIMMバッファの切り替え技術では、NVDIMMの任意の大きさの領域を低遅延で確保・解放する手段の選択が重要であり、調査を重ねた結果、Linuxの KMEM DAXドライバと Intel社の Memkindの組み合わせで解決できることが判明し、計画通り、切り替え技術の実装に結び付けることができた。

Strategy for Future Research Activity

最終年度であり、当初の計画通り、まずバッファの自動切り替え技術の実装に取り組む。そのうえで、最終目標である非同期通信レイヤ HyBuf-MPを実装する。

Causes of Carryover

学会等がオンライン開催になったことにより、旅費の支出が大幅に減った。その分、DIMMスロット数の多いサーバを一台追加購入し、メモリチャネルへの配置の違いによる性能への影響を計測に使用した。次年度、現地開催の学会が増えれば、より発表回数を増やすことによる使用を予定しているが、今年度同様オンライン開催がほとんど、という状況であれば、実験に使用するネットワーク装置を最新のものに交換する等、実験環境の整備に使用し、より実用的な評価を実施する予定である。