Gridにおけるpeer-to-peer大規模データ処理に関する研究

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13224034
• Research Category: Grant-in-Aid for Scientific Research on Priority Areas (C)
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 松岡 聡 東京工業大学, 学術国際情報センター, 教授 (20221583)
• Co-Investigator(Kenkyū-buntansha): 中田 秀基 産業技術総合研究所, 情報処理研究部門, 主任研究官 ; 合田 憲人 東京工業大学, 大学院・総合理工学研究科, 講師 (80247212) ; 森田 洋平 高エネルギー加速器研究機構, 計算科学センター, 助手 (00212267) ; 小川 宏高 東京工業大学, 大学院・情報理工学研究科, 助手 (90302968) ; 建部 修見 産業技術総合研究所, 情報処理研究部門, 主任研究科
• Keywords: グリッド / LHC実験 / データグリッド / 大規模クラスタ / GFarm / グリッドシミュレーション / 並列ファイルシステム / Peer-to-peer

Research Abstract

Gridにおいてテラバイトからペタバイトにものぼるデータの処理が今後科学技術分野で期待されるが、そのためにテラバイト級のストレッジを持つクラスタをGrid上でpeer-to-peerに連携させ、処理を行う基盤システム及びプログラミングモデルを研究している。今年度は、まず既設のPrestoIIIクラスタを拡張することによって、512プロセッサがMyrinetで高速接続されたデータグリッドのミドルウェアであるGfarm研究開発用のプロトタイプクラスタをAMD杜、ベストシステム社などの協力を得て構築した。PrestoIIIは絶対最高性能が1.6TeraFlopsにもおよび、世界最高性能のPCクラスタ計算機の一つである。これによりGfarmのプロトタイプの初期の性能の予測が満たされていることを確認した。さらにGfarmをベースとしたDataGrid用ミドルウェアの基礎的なソフトウェア技術を研究開発した。特に、(1)大規模クラスタにおける耐故障性並びに負荷分散の機構の検討、(2)グリッド上での大規模データクラスタ間の高速なファイル転送法とベンチマーク環境の構築、(3)クラスタにおけるPVFSなどの並列ファイルシステムの性能評価法の検討と実際の幾つかのベンチマークプログラムの研究開発、さらには(4)グリッドにおいてGfarmのクラスタ連合上でセキュアでかつ数千プロセッサまでスケーラブルな高速プロセス起動のアルゴリズム開発、並びにプロトタイプシステムの構築を行った。また、DataGridの定量的な実効もモデルを検討し、我々が以前より開発しているGridのシミュレータであるBricksをDataGrid用の拡張を行い、LHCで定義された世界規模のTier Modelの有効性に関する検討をシミュレーションを通じて行った。

Research Products

• [Publications] 竹房あつ子, 松岡聡: "Grid計算環境におけるデッドラインスケジューリング手法の性能"情報処理学会 並列処理シンポジウム論文集. Vol.2001 No.6. 263-270 (2001)
• [Publications] A.Takefusa, H.Casanova, S.Matsuoka, F.Berman: "A Study of Deadline Scheduling for Clien-Server Systems on the Computational Grid"Proceedings of 10th IEEE International Symposium on High Performance Distributed Computing (HPDC-10). 406-415 (2001)
• [Publications] 笹生 健, 松岡 聡, 建部 修見: "ヘテロなクラスタ環境における並列LINPACKの最適化"情報処理学会研究報告. HPC-86. 49-54 (2001)
• [Publications] 岩崎 聖, 松岡 聡, 曽田 哲之, 平野 基孝, 建部 修見, 関口 智嗣: "Grid環境における大規模クラスタ向けジョブマネジメントアーキテクチャの実装および性能評価"情報処理学会研究報告. Vol.2002,No.22. 37-42 (2002)
• [Publications] 建部 修見, 森田 洋平, 松岡 聡, 関口 智嗣, 曽田 哲之: "ペタスケール広域分散データ解析のためのGrid Datafarmアーキテクチャ"ハイパフォーマンスコンピューティングと計算科学シンポジウムHPCS2002論文集. 89-96 (2002)
• [Publications] 建部 修見, 森田 洋平, 松岡 聡, 関口 智嗣, 曽田 哲之: "広域大規模データ解析のためのGrid Datafarmアーキテクチャ"情報処理学会研究報告. HPC-87. 177-182 (2001)
• [Publications] 建部 修見, 関口 智嗣: "Gfarm:広域大容量データ解析システム"第30回数値解析シンポジウム予稿集. 3-6 (2001)
• [Publications] Yoshiaki Sakae, Satoshi Matsuoka: "MPC++ Performance for Commodity Clustering"Proceedings of High Performance Network Computing. LNCS No.2110. 503-512 (2001)
• [Publications] 栄 純明, 松岡 聡, 佐藤 三久, 長谷川 篤史, 原田 浩: "ソフトウェア分散共有メモリ上のOpenMP Omni/SCASHのSPLASH2による性能評価"情報処理学会研究報告. HPC-85. 187-192 (2001)
• [Publications] 高宮 安仁, 松岡 聡: "ユーザ透過な耐故障性を実現するMPIへ向けて"情報処理学会研究報告. HPC-87. 129-134 (2001)
• [Publications] 笹生 健, 松岡 聡, 建部 修見: "ヘテロなクラスタ環境における並列LINPACKの最適化"情報処理学会研究報告. HPC-86. 49-54 (2001)
• [Publications] Y.Sohda, H.Nakada, S.Matsuoka, H.Ogawa: "Implementation of a Portable Software DSM in Java"Proceedings of ACM Java Grande/ISCOPE 2001. 163-172 (2001)
• [Publications] 白砂 哲, 中田 秀基, 松岡 聡: "Ninfシステムにおけるフォールトトレランス"情報処理学会ハイパフォーマンスコンピューティング研究会. Vol.2001, No.77. 153-158 (2001)
• [Publications] 白砂 哲, 中田 秀基, 松岡 聡, 関口 智嗣: "XMLべースGrid RPCシステムの構築と評価"日本ソフトウェア科学会 第5回プログラミングおよび応用のシステムに関するワークショップ. (2002)
• [Publications] 中田 秀基, 田中 良夫, 松岡 聡, 関口 智嗣: "Grid RPCシステムAPIの提案"情報処理学会ハイパフォーマンスコンピューティング研究会. Vol.2001, No.78. (2001)
• [Publications] 白砂 哲, 中田 秀基, 松岡 聡: "Ninfシステムにおけるフォールトトレランス"情報処理学会ハイパフォーマンスコンピューティング研究会. Vol.2001, No.77. 153-158 (2001)
• [Publications] A.Takefusa, S.Matsuoka, H.Casanova, F.Berman: "A Study of Deadline Scheduling for Client-Server Systems on the Computational Grid"10th IEEE International Symposium on High Performance Distributed Computing (HPDC10). 405-416 (2001)
• [Publications] 秋山 智宏, 中田 秀基, 松岡 聡: "Grid環境におけるモニタリング手法の評価"情報処理学会研究報告(SwoPP2001沖縄). 2001-HPC-87. 159-164 (2001)
• [Publications] 竹房あつ子, 松岡聡: "Grid計算環境におけるデッドラインスケジューリング手法の性能"情報処理学会 電気通信処理学会 並列シンポジウム JSPP 2001 論文集. 263-270 (2001)
• [Publications] 鈴村 豊太郎, 松岡 聡, 中田 秀基: "高性能広域計算基盤Gridへのポータルシステムの設計と実装"情報処理学会ハイパフォーマンスコンピューティング研究会. Vol.2001, No.77. 171-177 (2001)
• [Publications] Toyotaro Suzumura, Satoshi Matsuoka, Hidemoto Nakada: "A Jini-based Computing Portal System"Proceedings of IEEE/ACM Supercomputing '2001, IEEE Computer Society. (2001)
• [Publications] 中田 秀基, 田中 良夫, 松岡 聡, 関口 智嗣: "Network Enabled ServerのWorld-wide Gridにおける性能"情報処理学会論文誌 ハイパフォーマンスコンピューティング研究会. Vol.42, No.77. 153-158 (2001)
• [Publications] 田中 良夫, 中田 秀基, 平野 基孝, 佐藤 三久, 関口 智嗣: "GlobusによるGrid RPCシステムの実装と評価"情報処理学会ハイパフォーマンスコンピューティング研究会. Vol.2001, No.77. 171-177 (2001)