2010 Fiscal Year Annual Research Report
スケーラブルな広域ファイルシステムの研究
Publicly Offered Research
Project Area | Cyber Infrastructure for the Information-explosion Era |
Project/Area Number |
21013005
|
Research Institution | University of Tsukuba |
Principal Investigator |
建部 修見 筑波大学, 大学院・システム情報工学研究科, 准教授 (70357432)
|
Keywords | 広域分散ファイルシステム / 分散メタデータサーバ / マルチマスター / ファイル複製作成 / 複製選択 / MapReduce / MPI-10 / 性能評価 |
Research Abstract |
増加の一途のデータの解析に対し,複数の拠点による広域分散データ解析の要求が高まっている。そのためには広域ファイルシステムが有用であるが,データ解析の規模が拡大するにつれ,ファイルを管理するメタデータのアクセス負荷の増大,広域ネットワークの遅延による応答性の低下が問題となっている。本年度は,広域ファイル共有の規模が拡大したときに問題となる,メタデータアクセス負荷の増大,高遅延ネットワークによる応答性の低下に対処するため,ファイルシステムの一貫性を緩めた2レベルのマルチマスター型メタデータサーバを提案した。4拠点を利用した実環境の評価では,読込,書込ともにスケーラブルな性能が得られた。多数ファイルの複製スケジューリング問題については,問題の定式化を行い,食欲法に基づく方法と線形計画法に基づく方法の提案を行った。評価の結果,特に難しい初期配置以外では両方式は理想的なスケジューリングに成功し,スケジューリングコストの観点で食欲法に基づく方法が良いことが分かった。また,難しい初期配置の場合,線形計画法に基づく方法は食欲法に基づく方法より2倍程度良いスケジューリングを行うことが分かった。大規模データ処理に関しては,MapReduceアプリケーション,MPI-10アプリケーションを広域分散ファイルシステムで効率的に実行するための検討を行った。プロトタイプシステムを作成し,様々なアプリケーション,利用シナリオに関して性能評価を行った。
|
Research Products
(28 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Wide-area Distributed File System2010
Author(s)
Osamu Tatebe, et.al.
Organizer
ACM/IEEE International Conference for High Performance Computing, Networking, Storage and Analysis (SC10) Research Exhibition
Place of Presentation
Ernest N.Morial Convention Center (New Orleans, LA, USA)
Year and Date
20101115-20101118
-
-
-
-
-
-
-
-