広域に分散した,非常に多数の資源を用いた並列計算の枠組み

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15017216
• Research Institution: The University of Tokyo
• Principal Investigator: 田浦 健次朗 東京大学, 大学院・情報理工学研究科, 助教授 (90282714)
• Keywords: 並列計算 / 分散計算 / LU分解 / ルーティング / 資源発見

Research Abstract

非占有環境で頑強な性能を発揮する高速数値計算(LU分解):Phoenixの特徴である動的なノードの増減可能性を生かして,共有されたクラスタ環境(非占有環境)で高性能を発揮するLU分解アルゴリズムの設計と実装を行った.環境の占有時には,同じ環境でのAtlas+HPLとほぼ同じ性能,非占有時には上回る性能を得た.計算途中に動的にノードを増加させ,負荷の割り当てを実行時に修正することによって,実際に追加したノードの分だけ一性能が向上することも確かめられた.この結果により,非占有環境であいた資源を獲得し,混雑した資源を解放しながら高性能を維持し続ける,今後の環境で有望な,動的な高性能アルゴリズムの例を示すことができた.
Grid用通信システムにおける高速な資源発見と経路構築:Phoenixの使い勝手と実装を大規模なスケールにおいて大幅に改善した.Grid環境における通信を簡便に行うためには,第一に,firewallやNATなどの制限を乗り越えてアプリケーションレベルでメッセージの経路付けを行う仕組みが必要である.また,現在典型的な大規模環境においては,静的なノード名を持たないノード(DHCPで設定されたノード),初期故障ノード,計算途中に追加されるノード,動的にノードを選択するスケジューラ,などの存在により,ユーザが計算に参加するノードを事前に記述し,参加ノードに正確に伝えることが困難になってきている.そこで通信システムは計算が始まってから参加ノードを発見し,それらの情報を参加ノードに伝える仕組み(資源発見)を備える必要がある.そしてそのようにして発見された資源間で接続を確立し,経路構築を行う必要がある.我々のシステムは,多数のノード間で,ネットワーク設定上許されたペアすべての間で接続を行い,かつ構築された接続の上で任意ノード間のメッセージを経路づけする.我々は、400プロセスを超えても,事前に接続情報を(静的に)記述した場合み数倍程度の時間(30秒程度)ですべての最短経路を求めることに成功した.

Research Products

• [Publications] Toshio Endo, Kenji Kaneda, Kenjiro Taura, Akinori Yonezawa: "High Performance LU Factorization for Non-Dedicated Clusters"IEEE/ACM Symposium on Cluster Computing and Grid (CCGrid2004). (To appear). (2004)
• [Publications] Kenji Kaneda, Toshio Endo, Kenjiro Taura, Akinori Yonezawa: "Routing and Resource Discovery in Phoenix Grid-Enabled Message Passing Library"IEEE/ACM Symposium on Cluster Computing and Grid (CCGrid2004). (To appear). (2004)
• [Publications] Kenjiro Taura, Toshio Endo, Kenji Kaneda, Akinori Yonezawa: "Phoenix : a Parallel Programming Model for Accommodating Dynamically Joining/Leaving Resources"ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming (PPoPP 2003). 216-229 (2003)
• [Publications] Takashi Hoshino, Kenjiro Taura, Takashi Chikayama: "An Adaptive File Distribution Algorithm for Wide Area Network"Journal of Parallel and Distributed Computing Practices. (To appear). (2004)
• [Publications] Hideo Saito, Kenjiro Taura, Takashi Chikayama: "Expedite : An Operating System Extension to Support Low-Latency Communication in Non-Dedicated Clusters"Symposium on Advanced Computing Systems and Infrastructures (SACSIS2004). (To appear). (2004)
• [Publications] 安藤雅享, 田浦健次朗, 近山隆: "Grid環境での並列ジョブ投入を支援するシェル"Symposium on Advanced Computing Systems and Infrastructures (SACSIS2004). (To appear). (2004)