2013 Fiscal Year Annual Research Report
分散マスタによる高信頼性・高性能ＭａｐＲｅｄｕｃｅの実現
| Project/Area Number |
23700036
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
置田 真生 大阪大学, 情報科学研究科, 助教 (50563988)
|
|---|
| Keywords | MapReduce / 並列分散処理 / 高性能計算 |
|---|
| Research Abstract |
本研究の全体構想は、近年普及が進んでいる大規模分散並列処理フレームワークMapReduceについて、ミッションクリティカルシステムでの利用に耐えうる実装を提供することである。この構想のもと、本研究では次の2つの目的を遂行する。 平成25年度は、前年度に引き続き、主に2の目的であるHadoopの性能向上に取り組んだ。当初の計画を変更し、アプリケーション実行中に生成する中間データに関する処理の改善による性能向上を目指した。
1:Hadoopのマスタを多重化することによる耐故障性の向上
2:Hadoopにおいて複数のマスタに処理を分散することによる実行性能の向上
まず、前年度に開発した中間データの量を削減する手法をフレームワークに実装し、特定のアプリケーションに限らず一般のMapReduceアプリケーションに対する適用可能性の拡張に取り組んだ。さらに中間データ削減手法は既存も含めて複数存在し、アプリケーションの特性によって有効性が異なるため、自動的に効果的な手法を選択する機構を組み込む計画である。これらの拡張は年度内の完成に至らず、開発途中である。
次に、中間データの転送量を削減するため、中間データ群に対する計算の局所性を高めるような計算タスクの動的割り当て手法を開発した。割り当ての決定には中間データ発生の統計的な予測を用いている。一般的な静的割り当て手法と比較して、MapReduceベンチマークに対して最大16%の高速化を達成した。
両手法は、MapReduceの主のボトルネックである中間データ処理を改善し、かつフレームワークが自動的に実施するためユーザが意識しなくとも効果が得られる点に意義がある。
|
