Implementation of Efficient Asynchronously Coupled Computation with Timed Buffer on NVDIMM

• Project/Area Number: 22K12049
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60090:High performance computing-related
• Research Institution: Kyushu University
• Principal Investigator: 南里 豪志 九州大学, 情報基盤研究開発センター, 准教授 (70284578)
• Co-Investigator(Kenkyū-buntansha): 深沢 圭一郎 京都大学, 学術情報メディアセンター, 准教授 (50377868) ; 加藤 雄人 東北大学, 理学研究科, 教授 (60378982)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2024: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2022: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
• Keywords: 高性能計算 / NVDIMM / DPU / 連成計算

Outline of Research at the Start

複数の事象が関係する問題を計算により解決する手段として、それぞれの事象の解決プログラムを接続する連成計算が注目されている。連成計算における課題の一つに、それぞれのプログラムの進行速度の違いによる同期待ちが有る。本研究は、安価で大容量の不揮発性メモリNVDIMM上に時系列でデータを格納するバッファを実装し、これにより、同期待ちの少ない非同期連成計算の実現を目指す。本研究は、計算機の基盤ソフトウェア技術を専門とする研究者と、様々なシミュレーションプログラムを開発する研究者によるチームで取り組むことで、実用性の高い技術の開発を図る。成果は幅広く利用してもらえるようにGitHub等で公開する。

Outline of Annual Research Achievements

まず非同期連成計算用時系列バッファ領域のインタフェース設計に取り組んだ。非同期連成計算では、あるプログラムがバージョン毎に生成するデータを、別のプログラムが適宜参照する。そこで、データごとに生成側のプログラムを生産者、参照側のプログラムを消費者として登録し、役割に応じて操作する、生産者消費者モデルのインタフェースを設計した。生産者の基本操作は新規バージョンの追加のみとし、既存バージョンの書き換えを不可とする。この方針に基づき、生産プログラム側からバージョン番号と生成データをバッファに入力する関数、および、参照側から任意のバージョンのデータと取得する関数を設計した。さらに、バッファに空きを作るため、不要になったバージョンを削除する関数、およびデータをファイルに移動する関数も設計した。
次にこれらの実装に取り組んだ。バッファへの入力関数は、バッファに空きがあれば即座にデータをコピーして終了し、空きが無ければ、参照側の操作で空きが生じるまで待つようにした。これらの動作を確認したところ、参照側のデータ取得の際のオーバヘッドが大きいことが判明した。そこで、一度のデータ取得で周辺のバージョンのデータも取得するキャッシュ機構を追加実装することで、オーバヘッドの低減を実現した。
また、プログラミングインタフェースとしての実用性を確認するため、共同研究者の加藤、深沢、三宅らが開発している磁気流体シミュレーションプログラムとその可視化プログラムを利用して、連成計算の一つであるIn-situ可視化を実現し、問題なく利用できることを検証した。
なお、本年度購入予定だったNVDIMMについては、開発元のIntel社が開発を停止したため、1年前に購入していた製品で代用することとした。一方、NVIDIA社の最新のネットワークカード BlueField2を購入することで通信時間を短縮し、実用性の向上を図った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

時系列バッファ領域のインタフェース設計は、生産者側の入力関数、参照者側の取得関数について、予定通り実現できた。また、バッファに空きが無くなると生成データを入力できなくなるため、不要となった時間ステップのデータを削除する関数、および、保存すべきデータをファイルに移動する関数も設計した。これらはすべて、生産者と参照者の間の同機が不要な非同期関数としている。
バッファの実装について、今年度はインタフェースの動作確認のため、通常のメモリ上への実装を行った。性能を計測したところ、参照側からデータを取得する際、一回当たりのオーバヘッドが大きいという問題が判明した。そこで、指定したバージョンの周辺のデータもまとめて転送するキャッシュ機構を追加で実装した。当初購入を予定していたNVDIMM製品についてIntel社が開発を停止したことが研究期間開始後に報道されたため、対応を検討した。現在、メモリやアクセラレータ、ストレージなどを複数のサーバが共有するためのCXLというバス規格が提案されており、今後普及が見込まれている。さらに、そこに接続されるメモリは、DRAMより低速だがSSDより高速で、サーバのDIMMスロットのDRAMよりも大容量のものとなると予想されている。これはNVDIMMとほぼ同じ位置づけになると考えられることから、本研究の目的である、DRAMとSSDの間に位置づけられる記憶デバイス上への時系列バッファの実装技術の開発は、CXL上のメモリにおいても有意義であると考えられる。そこで、研究目的や計画の変更は不要と判断した。ただ、当初予定していた最新NVDIMMの購入については、後継製品の見通しが無いことから取りやめ、当初予定していた最新のネットワークカードを購入した。
このように、いくつか計画時の想定と異なる状況は発生したものの、代替手段により解決できており、研究の遂行に支障はない。

Strategy for Future Research Activity

予定通り、時系列バッファ領域のNVDIMMへの実装に取り組む。NVDIMM上に時系列バッファ領域を構築し、各インタフェースを実装する。実装環境は、既存クラスタ環境のNVDIMMとInfiniBand NICを最新の製品に更新して使用する。データの生成、参照時の通信手段は全てRDMAを用いる。RDMAは非同期で非ブロッキングの通信が可能であるため、非同期連成計算を低オーバヘッドで実装するために必要である。また、NVDIMM領域が不足した場合の動作として、初年度に設計したバージョンの削除やファイルへの移動インタフェースを応用し、生産者、消費者の進捗状況に応じて、特定のバージョンの退避や削除、さらに、NVDIMMに空きが出来るまで生産者からのバージョン追加要請の処理を待つ、のいずれかを自動選択する機構を実装する。この機構の動作条件等の調整において、加藤、深沢、三宅による利用者視点での意見を取り入れる。
その後、時系列バッファ領域を利用した非同期連成計算の実現と評価に取り組む。開発した時系列バッファを利用し、加藤が開発した電磁圏内の高エネルギー粒子環境をミクロ計算で解くプログラムと、深沢が開発した太陽風の変動に伴う磁気圏構造の変化を磁気流体力学 (MHD) で解くプログラムの非同期連成を実現する。さらに、三宅が開発した人工衛星帯電予測プログラムとの非同期連成についても取り組む。その後、時系列バッファのオーバヘッド計測や同期と非同期での連成計算の効率比較を通じて、実用性を検証する。