2011 Fiscal Year Annual Research Report
負荷分散に配慮した透過的な計算機間大規模高速並列入出力に関する研究
| Project/Area Number |
21700063
|
|---|
| Research Institution | Kinki University |
|---|
Principal Investigator |
辻田 祐一 近畿大学, 工学部, 准教授 (70360435)
|
|---|
| Keywords | 並列入出力 / PC クラスタ / MPI / MPI-IO / Two-Phase I/O |
|---|
| Research Abstract |
PCクラスタの利用拡大に伴い、大規模なデータを効率良く扱う必要性が益々重要になってきている。そのためにPVFS2等の無償の並列ファイルシステムが果たしている役割は大きく、様々な研究分野で利用されている。PVFS2クライアントとなる並列計算プロセスからPVFS2を構成するデータサーバ群へのI/O要求がストライピングされて、高性能化が実現されている。さらにクライアント側の並列I/Oインタフェースの一つであるMPI-IOの代表的実装であるROMIOでは、様々な最適化が実現されており、その一つとしてTwo-PhaseI/Oがある。Two-PhaseI/Oでは、複数のクライアントによる集団型並列I/Oにおいて、不連続なアクセスパターンを扱う際に、空白部分を含むアクセス領域全体をクライアント間で均等に連続に分割することでファイルアクセス回数を減らし、さらに各クライアントで読み込んだデータはプロセス間通信により、要求するアクセス領域を確保できる。この方式により高性能化を図っている。本研究では、ファイルアクセスとデータ通信が逐次的に交互に行われている非効率な部分を、マルチスレッド処理あるいは非同期I/O APIを用いることで、処理のオーバーラップを実現し、さらなる高性能化を実現した。また、ドイツのハンブルク大学の研究チームと共同研究を行い、上記の最適化に加え、PVFS2のような複数のデータノードにストライピングさせる入出力方式に対する最適化の可能性についても検証を行った。以上により、今後の大規模化する並列ファイルシステムに対する並列入出力の高速化・最適化に資する有用な知見を得ることができた。
|
