|
前年度までに開発したパイプライン並列処理カーネルを複数のPCで動作させ、ネットワークで接続した大規模PCクラスターでパイプライン並列処理を行う最終的なパイプラインフレームワークの開発をおこなった。パイプライン同士を接続する機構は、前年度開発したマルチコアPCによるパイプライン並列処理に用いた、リングバッファとオブジェクトエンコード・デコードを組み合わせた機構をネットワーク接続対応に拡張することにより実装した。またネットワーク上の多数のPCの動作を制御するシステムをPythonとsshを用いて組み込んだ。
フレームワークの完成後、Belle II実験のデータ収集システムの開発のためにKEKに設置された高次トリガーテストベンチを用いて性能評価をおこなった。このテストベンチは総計20台のマルチコアPCサーバーが10GbEネットワークで接続されており、ネットワークを越えたパイプライン並列処理動作の限界性能の測定が可能である。性能測定には前年度のパイプラインカーネルの評価に使用したものと同一の2つのベンチマークプログラム、すなわち検出器シミュレーションとイベントリコンストラクションを使用した。入力サーバーの上のパイプラインで読み込んだデータを複数の処理ノードの入出力パイプラインに対してネットワーク越しに並列に送出し、各ノードにおいてさらにマルチコアを用いた並列パイプライン処理を行い、結果を出力サーバーに集め記録する、その実時間を測定することで性能を測定した。並列パイプライン処理に使用するcoreの数を順次増加させ、実行時間を測定したところ、ネットワーク上の総計200を越えるcore数に対して直線的な性能向上が確認できた。その際入出力の性能を限界まで引き出せることも確認できた。
|
