• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2004 Fiscal Year Annual Research Report

PCクラスタにおける大規模並列入出力に関する研究

Research Project

Project/Area Number 15700079
Research InstitutionKinki University

Principal Investigator

辻田 祐一  近畿大学, 工学部, 講師 (70360435)

KeywordsStampi / MPI-I / O / PVFS / ノンブロッキング入出力 / マルチスレッド
Research Abstract

PCクラスタにおける大規模並列入出力を実現するため、日本原子力研究所 計算科学技術推進センターで開発された異機種計算機間入出力ライブラリStampiに、新たにPCクラスタで大規模並列入出力を行うための機能拡張と性能評価を行った。
PCクラスタで利用可能な並列ファイルシステムであるPVFSは大規模な並列入出力機能を提供するが、異なる計算機からは利用できない。そこでStampiの持つ計算機間入出力機能を用い、PVFSへのリモート入出力機能を実現した。計算機間の入出力はリモート計算機上に起動した入出力を行うMPI-I/Oプロセスにより行われる。PVFSへの入出力はUNIXが提供する入出力関数で行うよりもPVFSが提供するネイティブな入出力関数で行う方が性能が良いため、この計算機間入出力機能にPVFSの入出力関数を取り込んで機能の拡張を行った。この機能の性能評価をギガビットのネットワークで繋がれたPCクラスタ間で行い、これまでの入出力機能に比べ、性能面での優位性を実証した。
一方、ノンブロッキング入出力関数によるリモート入出力操作において、複数のユーザ・プロセスからの入出力要求がMPI-I/Oプロセスに送られると、最初に届いた要求はすぐに受け付けられ、入出力要求を送ったユーザ・プロセスはすぐに次の処理に進むことが可能であったが、それ以降の入出力要求は、現在行われている入出力処理が終了するまで受け付けられず、全体として、入出力が逐次的に処理されてしまい、ノンブロッキング入出力のメリットである計算処理と入出力処理の高いオーバーラップが発揮出来ないという問題があった。この解決の為にMPI-I/Oプロセスを試験的にマルチスレッド化し、いくつかのノンブロッキング入出力関数を用い、計算と入出力のオーバーラップ効果が高くなる可能性を示した。

  • Research Products

    (6 results)

All 2005 2004

All Journal Article (6 results)

  • [Journal Article] Effective Overlap of Computation with I/O Operations in Remote MPI-I/O Operations Using a Multithreaded I/O Mechanism2005

    • Author(s)
      Yuichi Tsujita
    • Journal Title

      Proceedings of Parallel and Distributed Computing and Networks (PDCN2005), ACTA Press

      Pages: 228-233

  • [Journal Article] PVFSを用いた計算機間MPI-I/O機能の実装と性能評価2005

    • Author(s)
      辻田 祐一
    • Journal Title

      情報処理学会研究報告 2005・19

      Pages: 187-192

  • [Journal Article] Flexible Intermediate Library for MPI-2 Support on an SCore Cluster System2004

    • Author(s)
      Yuichi Tsujita
    • Journal Title

      Grid and Cooperative Computing, Lecture Notes in Computer Science, Springer 3033

      Pages: 129-136

  • [Journal Article] Implementation of an MPI-I/O Mechanism Using PVFS in Remote I/O to a PC Cluster2004

    • Author(s)
      Yuichi Tsujita
    • Journal Title

      Proceedings of HPC Asia 2004,IEEE Computer Society Press

      Pages: 136-139

  • [Journal Article] MPI-I/O with a Shared File Pointer Using a Parallel Virtual File System in Remote I/O Operations2004

    • Author(s)
      Yuichi Tsujita
    • Journal Title

      Distributed and Parallel Systems, Cluster and Grid Computing, Kluwer International Series in Engineering and Computer Science, Springer 777

      Pages: 47-54

  • [Journal Article] Effective MPI-I/O in Remote I/O Operations Using a Multithreaded Mechanism2004

    • Author(s)
      Yuichi Tsujita
    • Journal Title

      Parallel and Distributed Processing and Applications, Lecture Notes in Computer Science, Springer 3358

      Pages: 34-43

URL: 

Published: 2006-07-12   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi