2010 Fiscal Year Annual Research Report
数百万ノードからなる自律分散システムの実験環境構成法
| Project/Area Number |
22680005
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
首藤 一幸 東京工業大学, 大学院・情報理工学研究科, 准教授 (90308271)
|
|---|
| Keywords | 大規模分散システム / インターネット高度化 / ネットワーク / ディペンダブル・コンピューティング / データストレージ |
|---|
| Research Abstract |
分散システムの大規模実験プラットフォームOverlay Weaverでは、平成21年度の時点で60万ノードでの実験が可能であった。平成22年度末に向けて効率を向上させ、平成23年度1月より、本補助金で購入した実験用計算機を用いて、100万ノードを超える規模での実験を開始した。分散データストアの一種である分散ハッシュ表(DHT)に対するデータの書き込み・読み出しを行った場合、40万ノードであればすべての読み書き、60万ノードであればほぼすべての読み書きが成功する。それに対して、125万ノードでは0.001～0.005%のデータについて書き込みまたは読み出しが失敗する。現在、この読み出し失敗の原因を追求すると共に、さらに大きな規模での実験を試みている。
同時に、実験プラットフォームに求められる通信性能を見積もることを目的として、クラウドストレージと呼ばれる、実用されている分散データストアが生成する通信トラフィックを調べた。SNS最大手、米Facebook社が自社利用のために開発し、オープンソース化した非集中型のクラウドストレージApache Cassandraを対象として、これがノード数に応じてどの程度の通信トラフィックを生成するのかを測定した。このクラウドストレージは非集中型であるため、ストレージを構成するノードの情報を常にノード間で通信して交換している。このための通信トラフィックを測定する方法を考案し、PC10台上でノード数を300まで増やして測定したところ、ノード数Nに対して通信トラフィックは0(N^2)となること、また、ノード数1,000の際に229 Mbpsにも達することが判った。
|
