2011 Fiscal Year Annual Research Report
大規模HPCクラスタにおける高性能共有ストレージの性能保証に関する研究
| Project/Area Number |
23680004
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
谷村 勇輔 独立行政法人産業技術総合研究所, 情報技術研究部門, 研究員 (80415710)
|
|---|
| Keywords | データストレージ / ハイパフォーマンスコンピューティング / 大規模ファイルシステム / 性能保証 / ストレージ資源管理 |
|---|
| Research Abstract |
年度前半はSolid State Drive(SSD)に対するWriteアクセスのI/O制御の研究を行い,アクセス側が指定したスループットを提供するディスクI/O制御手法を開発し,Object-based Storage Device(OSD)に組み込んだ.具体的には,まずSSDが提供可能な性能の安定性を調査し,書き込みのタイミングを工夫して安定的にI/Oを処理できるようにした,その上で,優先度に基づいてI/O制御を行うディスクI/Oスケジューラを作成した.その後,開発したOSDを,予約に基づいて性能保証を行うPapioストレージソフトウェアに統合して評価試験を行い,予約に基づく性能保証の有効性を検証した.
年度後半は,Papioを用いて構築したストレージシステム(Papio Storage)を利用するための2つの上位ツールの研究開発を行った.1つ目は,データセンタ外部とPapio Storage間のデータ転送や,Papio Storage内の各データを大規模計算機の各ノードに展開するためのツールであり,クラウドで標準的なデータ転送プロトコルの検討を行った.Papioの独自機能である性能予約,および予約チケットを用いたアクセス要求をサポートするためにAmazon S3を拡張することとし,その拡張部分の実装を進めた.2つ目は,Papioを利用するHPCアプリケーションの開発を容易にするため,MPI-IOライブラリを通してPapioを利用するためのツールである.これは英国のエジンバラ大学と共同で進め,エジンバラ大学が開発したMPI-IO実装のPapio用の下位アダプタの設計・開発を行い,Papio Storageと連携させることで,より効率的なストレージアクセスの実現を試みた.本年度は実施計画の通り,いずれも予備評価を行える段階まで研究開発を進めることができた.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
全体的には当初の計画に沿って研究開発を進めることができた.WriteアクセスのI/O性能制御についてはSWoPP2011で発表し,その成果を取り込んだPapioストレージソフトウェアに関しては情報処理学会論文誌に投稿して採録が決定しており,研究成果の発表も予定通り行えたといえる.また,2つの上位ツールの開発についてはいくつか未実装の機能があるものの,おおむね順調に進んでいる.MPI-IOからPapioを利用する仕組みの研究ついてはエジンバラ大学と共同研究を開始することができ,当初の予定以上の進展を得ることができた.
|
| Strategy for Future Research Activity |
次年度前半には上位ツールの残りの開発を完了させ,実際的なHPCクラスタと実アプリケーションを用いて,予約に基づく性能保証の検証を進める予定である.実アプリケーションとしてはエジンバラ大学が持つMPI-IOアプリケーションのほか,学会や展示会などを通じて本研究の成果を宣伝し,それ以外のアプリケーションを探し,できるだけ多くのアプリケーション/シナリオにおいて成果の検証を行い,問題点の洗い出しと改善に努めたい.また,成果の普及や社会への還元,より多くのユーザからのフィードバックを得るため,開発したソフトウェアの公開も進める予定である.
|
