Gridにおけるpeer-to-peer大規模データ処理に関する研究

2003 年度 実績報告書

• 研究課題/領域番号: 13224034
• 研究機関: 東京工業大学
• 研究代表者: 松岡 聡 東京工業大学, 学術国際情報センター, 教授 (20221583)
• 研究分担者: 森田 洋平 高エネルギー加速器研究機構, 計算科学センター, 助手 (00212267) ; 小川 宏高 東京工業大学, 大学院・情報理工学研究科, 助手 (90302968) ; 合田 憲人 東京工業大学, 大学院・総合理工学研究科, 講師 (80247212) ; 建部 修見 産業技術総合研究所, グリッド研究センター, 主任研究員 (70357432) ; 中田 秀基 産業技術総合研究所, グリッド研究センター, 主任研究員 (80357631)
• キーワード: Grid / ペタバイト級データ / コモディティクラスタ / データグリッド / Gfarm / Bandwidth Challenge / レプリカシステム / モニタリングシステム

研究概要

高分子物理学の解析等で要求されるペタバイト級データインテンシブコンピューティングのテストベッドとして、既設のPrestoクラスタを拡張することによって、大規模なコモディティクラスタPresto IIIの設計と開発を米AMD社、ベストシステムズ社などの協力を得て行った。またPresto IIIのノードのうち、128ノードを高エネ研に移設し、相互をSuperSINETで接続し、大規模データ解析の高速化を図った。また我々は、大規模PCクラスタリングシステム用のセットアップ・管理ツールとして、Lucieの開発・配布を行った。ノード数の急激なスケールアップに伴い、クラスタの初期セットアップおよび保守コストは膨大なものになるが、Lucieでは、ネットワークブート/インストール機構、および用途に応じたインストーラ自体の再構成といった機構、宣言的な設定ファイルからのインストーラ自動生成機構を実現した。さらにクラスタの複数のノード間転送にて、同一データの複製を多数作成する場合に有効なミドルウェアのプロトタイプdollyScatterを開発した。また我々はネットワーク上のデータ転送やスケジューリング時に重要なグリッド上のモニタリングシステムの自律的な管理機構を提案し、既存システムNWSを対象としたプロトタイプを開発した。また我々は2003年11月に米国フェニックスで開催された国際会議SC2003において、日米タイの9拠点を高速ネットワークで接続し構築したグリッド環境を用いて、開発中のグリッドデータファーム(Gfarm)による大規模データ解析の実証実験(Bandwidth Challenge)に成功し、"Distributed Infrastructure"Awardを受賞した。

研究成果

• [文献書誌] Atsuko Takefusa: "Performance Analysis of Scheduling and Replication Algorithms on Grid Datafarm Architecture for High Energy Physics Application"Proc.of the 12^<th> IEEE International Symposium on High Performance Distributed Computing(HPDC-12). 34-43 (2003)
• [文献書誌] Shoji Ogura: "Evaluation of the inter-cluster data transfer on Grid environment"Proc.of the 3^<rd> IEEE/ACM International Symposium on Cluster Computing and the Grid(CCGrid2003). 374-381 (2003)
• [文献書誌] 竹房あつ子: "Grid Datafarmにおけるスケジューリング・複製手法の性能評価"先進的計算基盤システムシンポジウム(SACSIS2003)論文集. 121-128 (2003)
• [文献書誌] 高宮安仁: "Lucie:大規模クラスタに適した高速セットアップ・管理ツール"先進的計算基盤システムシンポジウム(SACSIS2003)論文集. 365-372 (2003)
• [文献書誌] 竹房あつ子: "Grid Datafarmにおけるスケジューリング・複製手法の性能評価"情報処理学会論文誌:コンピューティングシステム. Vol.44, No.SIG11(ACS3). 57-67 (2003)
• [文献書誌] 高宮安仁: "Lucie:大規模クラスタに適した高速セットアップ・管理ツール"情報処理学会論文誌:コンピューティングシステム. Vol.44, No.SIG11(ACS3). 79-88 (2003)
• [文献書誌] 白勢健一郎: "グリッドコンピューティングにおけるモニタリングシステムの自律的構成"情報処理学会研究報告. 2003-HPC-95. 89-94 (2003)
• [文献書誌] 山本直孝: "Grid Datafarmにおける天文学データ解析ツールの性能評価"情報処理学会研究報告. 2003-HPC-95. 185-190 (2003)
• [文献書誌] 清水敏行: "クラスタノードの高密度実装における振動等の問題について"情報処理学会研究報告. 2003-ARC-154. 67-72 (2003)
• [文献書誌] Satoshi Matsuoka: "You Don't Really Need Big Fat Switches Anymore---Almost"IPSJ SIG Technical Reports. 2003-ARC-154. 157-162 (2003)
• [文献書誌] Kenichiro Shirose: "Autonomous Configuration of Grid Monitoring Systems"Proc.of 2004 International Symposium on Applications and the Internet(SAINT2004 Workshops). 651-657 (2004)
• [文献書誌] Osamu Tatebe: "The Second Trans-Pacific Grid Datafarm Testbed and Experiments for SC2003"Proc.of 2004 International Symposium on Applications and the Internet(SAINT2004 Workshops). 602-607 (2004)
• [文献書誌] 小倉章嗣: "グリッド環境におけるVM上でのジョブ実行の検討"情報処理学会研究報告. 2004-ARC-157 2004-HPC-97. 25-30 (2004)
• [文献書誌] 建部修見: "グリッドデータファームとGNET-1による日米間高速ファイル複製"情報処理学会研究報告. 2004-ARC-157 2004-HPC-97. 31-36 (2004)