Gridにおけるpeer-to-peer大規模データ処理に関する研究

2002 年度 実績報告書

• 研究課題/領域番号: 13224034
• 研究機関: 東京工業大学
• 研究代表者: 松岡 聡 東京工業大学, 学術国際情報センター, 教授 (20221583)
• 研究分担者: 森田 洋平 高エネルギー加速器研究機構, 計算科学センター, 助手 (00212267) ; 松田 裕幸 東京工業大学, 学術国際情報センター, 助手 (70209568) ; 合田 憲人 東京工業大学, 大学院・総合理工学研究科, 講師 (80247212) ; 建部 修見 産業技術総合研究所, グリッドセンター, 主任研究官 (70357432) ; 中田 秀基 産業技術総合研究所, グリッドセンター, 主任研究官 (80357631)
• キーワード: ハイパフォーマンスコンピューティング技術 / グリッド計算 / PCクラスタ / 大規模データ処理 / インターネット高度化技術

研究概要

高分子物理学の解析等で要求されるペタバイト級データインテンシブコンピューティングのテストベッドとして、既設のPrestoクラスタを拡張することによって、大規模なコモディティクラスタPresto IIIの設計と開発を米AMD杜、ベストシステムズ社などの協力を得て行った。また我々は、大規模PCクラスタリングシステム用のセットアップ・管理ツールとして、Lucieの開発・配布を行った。ノード数の急激なスケールアップに伴い、クラスタの初期セットアップおよび保守コストは膨大なものになるが、Lucieでは、ネットワークブート/インストール機構、および用途に応じたインストーラ自体の再構成といった機構、宣言的な設定ファイルからのインストーラ自動生成機構を実現した。また、CERN LHCの高エネルギー物理学解析を対象とした計算モデルを作り、シミュレーションによる大規模性能評価を行った。シミュレーションによる評価では、GridRPCシステムNinfの開発・研究により得られた定量モデルおよびデータグリッド用に大幅に拡張したBricksグリッドシミュレータを用いた。この成果は、Grid Data Farmシステムソフトウェアに反映しつつある。また我々は2002年11月に米国ボルチモアで開催された国際会議SC2002において、日米の7拠点を高速ネットワークで接続し構築したグリッド環境を用いて、開発中のグリッドデータファームによる大規模データ解析の実証実験(Bandwidth Challenge)を行い、世界で初めてこれに成功した。

研究成果

• [文献書誌] 小倉章嗣, 松岡聡, 中田秀基: "グリッド環境におけるクラスタ間データ転送の評価"情報処理学会研究報告HPC-91. 155-160 (2002)
• [文献書誌] 竹房あつ子, 建部修見, 松岡聡, 森田洋平: "Grid Datafarmにおけるスケジューリング・複製手法の性能評価"情報処理学会研究報告HPC-91. 137-142 (2002)
• [文献書誌] 建部修見, 森田洋平, 松岡聡, 関口智嗣, 曽田哲之: "ペタスケール広域分散データ解析のためのGrid Datafarmアーキテクチャ"情報処理学会論文誌:ハイパフォーマンスコンピューティングシステム. 43. (2002)
• [文献書誌] Shoji Ogura, Satoshi Matsuoka, Hidemoto, Nakada: "Evaluation of the inter-cluster data transfer on Grid environment"In GP2PC 2003 workshop in CC Grid 2003. (2003)
• [文献書誌] Osamu Takebe, Youhei Morita, Satoshi Matsuoka, Noriyuki Sohda, Satoshi Sekiguchi: "Grid Datafarm Architecture for Petascale Data Intensive Computing"In Second IEEE/ACM International Symposium on Cluster Computing. 102-110 (2002)
• [文献書誌] 建部修見, 森田洋平, 松岡聡, 関口智嗣, 曽田哲之: "ペタバイトスケールデータインテンシブコンピューティングのための Grid Datafarmアーキテクチャ"情報処理学会論文誌:ハイパフォーマンスコンピューティングシステム. 184-195 (2002)