PCクラスタにおける大規模並列入出力に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15700079
• Research Institution: Kinki University
• Principal Investigator: 辻田 祐一 近畿大学, 工学部, 講師 (70360435)
• Keywords: Stampi / MPI-I / 0 / PVFS / 非同期入出力 / マルチスレッド

Research Abstract

PCクラスタにおける大規模並列入出力を実現するため、日本原子力研究所計算科学技術推進センターで開発された異機種計算機間入出力ライブラリStampiに、新たにPCクラスタで大規模並列入出力を行うためのいくつかの検討を行った。
まず、PCクラスタで透過的な計算環境を提供するSCoreが稼動するPCクラスタ上で、Stampiが持つ計算機間入出力機能の性能評価を行った。Stampiは入出力を行うリモート計算機上に入出力を行うMPI-I/Oプロセスを起動し、計算機ベンダ提供のMPI-I/Oライブラリがない場合、UNIX-I/Oを用いた入出力を行っていた。リモート計算機がPCクラスタの場合、フロントエンドとなる管理ノード上に非並列版のMPI-I/Oプロセスを起動することにより、入出力を行った。この試験の結果、UNIX-I/Oを利用した場合、ネットワークのバンド幅などから予想される性能に近い性能を確認したが、大規模なデータを扱うには、PCクラスタ上で利用可能な並列ファイルシステムが必要であることを今後の課題として提案した。現在、PVFS (Parallel Virtual File System) への入出力機能をサポートするための設計と実装を行っている。
次に、Stampiにおける集団入出力の中で、非同期関数によるリモート入出力操作において、複数のユーザ・プロセスからの入出力要求がMPI-I/Oプロセスに送られると、最初に届いた要求はすぐに受け付けられ、当該のユーザ・プロセスはすぐに次の処理に進むことが可能であったが、それ以降の入出力要求は、前の入出力処理が終了するまで受け付けられず、全体として、入出力や逐次的に処理されてしまい、非同期操作のメリットである計算処理と入出力処理の高いオーバーラップが発揮できないという問題があった。この解決のためにMPI-I/Oプロセスを試験的にマルチスレッド化し、非同期操作における計算と入出力のオーバーラップ効果が高くなる可能性を示した。今後、実用化の可否も含め性能改善のための設計を行っている。

Research Products

• [Publications] Yuichi Tsujita: "Flexible Intermediate Library for MPI-2 Support on an SCore Cluster System"Proceedings of the 2nd International Workshop on Grid and Cooperative Computing. Vol. 2. 859-866 (2003)
• [Publications] 辻田 祐一: "異機種計算機間通信ライブラリStampiにおける非同期I/O操作"情報処理学会研究報告. Vol. 2004 No. 20. 151-156 (2004)