2003 Fiscal Year Annual Research Report

Gridにおけるpeer-to-peer大規模データ処理に関する研究

Research Project

Project/Area Number	13224034
Research Institution	Tokyo Institute of Technology
Principal Investigator	松岡聡東京工業大学, 学術国際情報センター, 教授 (20221583)
Co-Investigator(Kenkyū-buntansha)	森田洋平高エネルギー加速器研究機構, 計算科学センター, 助手 (00212267) 小川宏高東京工業大学, 大学院・情報理工学研究科, 助手 (90302968) 合田憲人東京工業大学, 大学院・総合理工学研究科, 講師 (80247212) 建部修見産業技術総合研究所, グリッド研究センター, 主任研究員 (70357432) 中田秀基産業技術総合研究所, グリッド研究センター, 主任研究員 (80357631)
Keywords	Grid / ペタバイト級データ / コモディティクラスタ / データグリッド / Gfarm / Bandwidth Challenge / レプリカシステム / モニタリングシステム
Research Abstract	高分子物理学の解析等で要求されるペタバイト級データインテンシブコンピューティングのテストベッドとして、既設のPrestoクラスタを拡張することによって、大規模なコモディティクラスタPresto IIIの設計と開発を米AMD社、ベストシステムズ社などの協力を得て行った。またPresto IIIのノードのうち、128ノードを高エネ研に移設し、相互をSuperSINETで接続し、大規模データ解析の高速化を図った。また我々は、大規模PCクラスタリングシステム用のセットアップ・管理ツールとして、Lucieの開発・配布を行った。ノード数の急激なスケールアップに伴い、クラスタの初期セットアップおよび保守コストは膨大なものになるが、Lucieでは、ネットワークブート/インストール機構、および用途に応じたインストーラ自体の再構成といった機構、宣言的な設定ファイルからのインストーラ自動生成機構を実現した。さらにクラスタの複数のノード間転送にて、同一データの複製を多数作成する場合に有効なミドルウェアのプロトタイプdollyScatterを開発した。また我々はネットワーク上のデータ転送やスケジューリング時に重要なグリッド上のモニタリングシステムの自律的な管理機構を提案し、既存システムNWSを対象としたプロトタイプを開発した。また我々は2003年11月に米国フェニックスで開催された国際会議SC2003において、日米タイの9拠点を高速ネットワークで接続し構築したグリッド環境を用いて、開発中のグリッドデータファーム(Gfarm)による大規模データ解析の実証実験(Bandwidth Challenge)に成功し、"Distributed Infrastructure"Awardを受賞した。

Research Products

(14 results)

All Other

All Publications (14 results)

[Publications] Atsuko Takefusa: "Performance Analysis of Scheduling and Replication Algorithms on Grid Datafarm Architecture for High Energy Physics Application"Proc.of the 12^<th> IEEE International Symposium on High Performance Distributed Computing(HPDC-12). 34-43 (2003)
[Publications] Shoji Ogura: "Evaluation of the inter-cluster data transfer on Grid environment"Proc.of the 3^<rd> IEEE/ACM International Symposium on Cluster Computing and the Grid(CCGrid2003). 374-381 (2003)
[Publications] 竹房あつ子: "Grid Datafarmにおけるスケジューリング・複製手法の性能評価"先進的計算基盤システムシンポジウム(SACSIS2003)論文集. 121-128 (2003)
[Publications] 高宮安仁: "Lucie:大規模クラスタに適した高速セットアップ・管理ツール"先進的計算基盤システムシンポジウム(SACSIS2003)論文集. 365-372 (2003)
[Publications] 竹房あつ子: "Grid Datafarmにおけるスケジューリング・複製手法の性能評価"情報処理学会論文誌:コンピューティングシステム. Vol.44, No.SIG11(ACS3). 57-67 (2003)
[Publications] 高宮安仁: "Lucie:大規模クラスタに適した高速セットアップ・管理ツール"情報処理学会論文誌:コンピューティングシステム. Vol.44, No.SIG11(ACS3). 79-88 (2003)
[Publications] 白勢健一郎: "グリッドコンピューティングにおけるモニタリングシステムの自律的構成"情報処理学会研究報告. 2003-HPC-95. 89-94 (2003)
[Publications] 山本直孝: "Grid Datafarmにおける天文学データ解析ツールの性能評価"情報処理学会研究報告. 2003-HPC-95. 185-190 (2003)
[Publications] 清水敏行: "クラスタノードの高密度実装における振動等の問題について"情報処理学会研究報告. 2003-ARC-154. 67-72 (2003)
[Publications] Satoshi Matsuoka: "You Don't Really Need Big Fat Switches Anymore---Almost"IPSJ SIG Technical Reports. 2003-ARC-154. 157-162 (2003)
[Publications] Kenichiro Shirose: "Autonomous Configuration of Grid Monitoring Systems"Proc.of 2004 International Symposium on Applications and the Internet(SAINT2004 Workshops). 651-657 (2004)
[Publications] Osamu Tatebe: "The Second Trans-Pacific Grid Datafarm Testbed and Experiments for SC2003"Proc.of 2004 International Symposium on Applications and the Internet(SAINT2004 Workshops). 602-607 (2004)
[Publications] 小倉章嗣: "グリッド環境におけるVM上でのジョブ実行の検討"情報処理学会研究報告. 2004-ARC-157 2004-HPC-97. 25-30 (2004)
[Publications] 建部修見: "グリッドデータファームとGNET-1による日米間高速ファイル複製"情報処理学会研究報告. 2004-ARC-157 2004-HPC-97. 31-36 (2004)

2003 Fiscal Year Annual Research Report

Gridにおけるpeer-to-peer大規模データ処理に関する研究

Principal Investigator

松岡 聡 東京工業大学, 学術国際情報センター, 教授 (20221583)

Research Products

[Publications] Atsuko Takefusa: "Performance Analysis of Scheduling and Replication Algorithms on Grid Datafarm Architecture for High Energy Physics Application"Proc.of the 12^<th> IEEE International Symposium on High Performance Distributed Computing(HPDC-12). 34-43 (2003)

[Publications] Shoji Ogura: "Evaluation of the inter-cluster data transfer on Grid environment"Proc.of the 3^<rd> IEEE/ACM International Symposium on Cluster Computing and the Grid(CCGrid2003). 374-381 (2003)

[Publications] 竹房あつ子: "Grid Datafarmにおけるスケジューリング・複製手法の性能評価"先進的計算基盤システムシンポジウム(SACSIS2003)論文集. 121-128 (2003)

[Publications] 高宮安仁: "Lucie:大規模クラスタに適した高速セットアップ・管理ツール"先進的計算基盤システムシンポジウム(SACSIS2003)論文集. 365-372 (2003)

[Publications] 竹房あつ子: "Grid Datafarmにおけるスケジューリング・複製手法の性能評価"情報処理学会論文誌:コンピューティングシステム. Vol.44, No.SIG11(ACS3). 57-67 (2003)

[Publications] 高宮安仁: "Lucie:大規模クラスタに適した高速セットアップ・管理ツール"情報処理学会論文誌:コンピューティングシステム. Vol.44, No.SIG11(ACS3). 79-88 (2003)

[Publications] 白勢健一郎: "グリッドコンピューティングにおけるモニタリングシステムの自律的構成"情報処理学会研究報告. 2003-HPC-95. 89-94 (2003)

[Publications] 山本直孝: "Grid Datafarmにおける天文学データ解析ツールの性能評価"情報処理学会研究報告. 2003-HPC-95. 185-190 (2003)

[Publications] 清水敏行: "クラスタノードの高密度実装における振動等の問題について"情報処理学会研究報告. 2003-ARC-154. 67-72 (2003)

[Publications] Satoshi Matsuoka: "You Don't Really Need Big Fat Switches Anymore---Almost"IPSJ SIG Technical Reports. 2003-ARC-154. 157-162 (2003)

[Publications] Kenichiro Shirose: "Autonomous Configuration of Grid Monitoring Systems"Proc.of 2004 International Symposium on Applications and the Internet(SAINT2004 Workshops). 651-657 (2004)

[Publications] Osamu Tatebe: "The Second Trans-Pacific Grid Datafarm Testbed and Experiments for SC2003"Proc.of 2004 International Symposium on Applications and the Internet(SAINT2004 Workshops). 602-607 (2004)

[Publications] 小倉章嗣: "グリッド環境におけるVM上でのジョブ実行の検討"情報処理学会研究報告. 2004-ARC-157 2004-HPC-97. 25-30 (2004)

[Publications] 建部修見: "グリッドデータファームとGNET-1による日米間高速ファイル複製"情報処理学会研究報告. 2004-ARC-157 2004-HPC-97. 31-36 (2004)

松岡聡東京工業大学, 学術国際情報センター, 教授 (20221583)