2004 Fiscal Year Annual Research Report
GridにおけるPeer-to-Peer大規模データ処理に関する研究
| Project/Area Number |
13224034
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
松岡 聡 東京工業大学, 学術国際情報センター, 教授 (20221583)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
合田 憲人 東京工業大学, 大学院・総合理工学研究科, 講師 (80247212)
松田 裕幸 東京工業大学, 大学院・情報理工学研究科, 助手 (70209568)
森田 洋平 高エネルギー加速器研究機構, 計算科学センター, 助教授 (00212267)
中田 秀基 (独)産業技術総合研究所, グリッド研究センター, 主任研究員 (80357631)
建部 修見 (独)産業技術総合研究所, グリッド研究センター・クラスター技術センター, 研究員 (70357432)
|
|---|
| Keywords | Grid / ペタバイト級データ / コモディティクラスタ / データグリッド / Gfarm / Bandwidth Challenge / レプリカシステム / Peer-to-peer |
|---|
| Research Abstract |
本研究班では、データグリッドにおける大規模クラスタの広域Peer-to-peer連携並びにデータ転送、そのためのプログラミングや定量的なモデル並びに解析・シミュレーション技術、さらにはデータの仮想的なマネジメントなどを研究し、ペタバイト級のデータを処理する基盤技術を開発して実際のCERNのLHC/ATLAS検出器データ処理並びにそのミドルウェアのGfarmプロジェクトの一端を担うことを目指す。本年度は、昨年度までのクラスタ構築やBandwidth Challengeによる知見に基づき、よりPeer-to-peer的な挙動を全体のデータグリッドシステムが示すシステム技術の研究開発およびアーキテクチャ制定を行った。具体的には、(1)複数のGFarmクラスタのデータレプリケーションのスケジューリングを、アクセスの負荷をモニタリングしながら自動的に行う技術、(2)マルチギガビットのWANにおいて、グリッドのセキュリティを満たしながらP2Pシステムや近年のクラスタで問題となるFirewallを超えて通信するトランスポートレイヤ、(3)そのレイヤの接続性とバンド幅をフルに生かしながら複数クラスタ上の複数ノード間でpeer-to-peerに0(1)でデータがセキュアに転送されるDollyScatterシステム、(4)グリッド上でポータビリティを保ちながらP2P的にプログラミングを行うシステム、などの研究開発を行った。結果として、ファイアウォールなどで遮断されているネットワーク環境においても、高速かつ有効にデータグリッド環境をを構築できることを示せた。
|
Research Products
(6 results)
