広域に分散した、非常に多数の資源を用いた並列計算の枠組み

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13224017
• Research Institution: The University of Tokyo
• Principal Investigator: 田浦 健次朗 東京大学, 大学院・情報理工学研究科, 講師 (90282714)
• Keywords: 広域分散計 / ルーティング / 耐リンク故障 / 大域計算 / シェル / Web crawler

Research Abstract

広域分散環境で長時間,持続的に並列計算を実行する枠組みについて研究を行っている.
文献[1]は,その基本として,参加計算機がノード,計算期間のTCP接続を辺とするような木構造を維持しながらメッセージを任意の参加計算期間で交換する仕組み,そして計算機が追加,脱退するときのプロトコルなどを提案した.そして,一連の計算を,動的に資源が参加しながら継続させることに成功した.
文献[2,3]は,同様のアイデアにもとづき,多数の計算機を同時利用するシェルを設計,実装したものである.[1]と同様計算期間で木構造のネットワークを構築して任意の計算期間の通信を可能にしているが,加えて,計算機やリンクの障害による故障から自動的に復帰(ネットワークの再構築)する仕組みを設計,実装した.本研究成果はフリーソフトウェアとして公開する準備を進めている.
これらの成果をさらに一般化,発展させて,多数のノードが,木構造とは限らないグラフ構造およびメッセージの配送経路を自動的に構成し,リンク障害に適応してそれらを再構築するアルゴリズムについても研究を進行中である.この成果は現在論文執筆の準備を進めている.
文献[4]は,考えられる応用としてウェブ上のデータを並列に収集する仕組みについて検討したちのである,広域に分散したデータ収集器がWEBデータが作るgraphを重複なく探索する.文献[1,2,3]と同様,計算進行中に計算機が新規参加,脱退することを許している.そのもとですでに探索済みのデータを参加ノードが確実に交換するプロトコルを定義した.

Research Products

• [Publications] 田浦健次朗: "Phoenix:動的な資源の増減をサポートする並列計算プラットフォーム"情報処理学会研究報告. 2001-HPC-87. 135-140 (2001)
• [Publications] 金田憲二, 田浦健次朗, 米澤明憲: "Virtual Private Grid (VPG):遠隔計算機を効率的に利用するシェル"情報処理学会研究報告. 2001-HPC-87. 183-188 (2001)
• [Publications] Kenji Kaneda, Kenjiro Taura, Akiriori Yonezawa: "Virtual Private Grid : A Command Shell for Utilizing Hundreds of Machines Efficiently"the 2nd IEEE International Symposium on Cluster Computing and the Grid (CCGrid). (採録決定). (2002)
• [Publications] 洪淳祥, 田浦健次朗, 米澤明憲: "動的に増減する資源を利用した広域分散web crawling"日本ソフトウェア科学会第18回大会. (2001)