• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

スケーラブルな広域ファイルシステムの研究

Publicly Offered Research

Project AreaCyber Infrastructure for the Information-explosion Era
Project/Area Number 21013005
Research Category

Grant-in-Aid for Scientific Research on Priority Areas

Allocation TypeSingle-year Grants
Review Section Science and Engineering
Research InstitutionUniversity of Tsukuba

Principal Investigator

建部 修見  筑波大学, 大学院・システム情報工学研究科, 准教授 (70357432)

Project Period (FY) 2009 – 2010
Project Status Completed (Fiscal Year 2010)
Budget Amount *help
¥5,800,000 (Direct Cost: ¥5,800,000)
Fiscal Year 2010: ¥2,900,000 (Direct Cost: ¥2,900,000)
Fiscal Year 2009: ¥2,900,000 (Direct Cost: ¥2,900,000)
Keywords広域分散ファイルシステム / 分散メタデータサーバ / マルチマスター / ファイル複製作成 / 複製選択 / MapReduce / MPI-10 / 性能評価 / マルチマスタ / 結果整合性 / 衝突の検知 / 衝突の解消
Research Abstract

増加の一途のデータの解析に対し,複数の拠点による広域分散データ解析の要求が高まっている。そのためには広域ファイルシステムが有用であるが,データ解析の規模が拡大するにつれ,ファイルを管理するメタデータのアクセス負荷の増大,広域ネットワークの遅延による応答性の低下が問題となっている。本年度は,広域ファイル共有の規模が拡大したときに問題となる,メタデータアクセス負荷の増大,高遅延ネットワークによる応答性の低下に対処するため,ファイルシステムの一貫性を緩めた2レベルのマルチマスター型メタデータサーバを提案した。4拠点を利用した実環境の評価では,読込,書込ともにスケーラブルな性能が得られた。多数ファイルの複製スケジューリング問題については,問題の定式化を行い,食欲法に基づく方法と線形計画法に基づく方法の提案を行った。評価の結果,特に難しい初期配置以外では両方式は理想的なスケジューリングに成功し,スケジューリングコストの観点で食欲法に基づく方法が良いことが分かった。また,難しい初期配置の場合,線形計画法に基づく方法は食欲法に基づく方法より2倍程度良いスケジューリングを行うことが分かった。大規模データ処理に関しては,MapReduceアプリケーション,MPI-10アプリケーションを広域分散ファイルシステムで効率的に実行するための検討を行った。プロトタイプシステムを作成し,様々なアプリケーション,利用シナリオに関して性能評価を行った。

Report

(2 results)
  • 2010 Annual Research Report
  • 2009 Annual Research Report
  • Research Products

    (43 results)

All 2011 2010 2009 Other

All Journal Article (18 results) (of which Peer Reviewed: 6 results) Presentation (23 results) Remarks (2 results)

  • [Journal Article] クラスタ間並列複製作成のためのファイル分割を許さないスケジューリング2011

    • Author(s)
      鈴木克典, 建部修見
    • Journal Title

      ハイパフォーマンスコンピューティングと計算科学シンポジウムHPCS2011論文集

      Pages: 10-19

    • NAID

      170000063912

    • Related Report
      2010 Annual Research Report
    • Peer Reviewed
  • [Journal Article] StableSearch : A Searchable File Content Metadata System for the Gfarm File System2011

    • Author(s)
      Joel Tucci, Osamu Tatebe
    • Journal Title

      情報処理学会研究報告

      Volume: Vol.2011-HPC-129, No.7 Pages: 1-6

    • Related Report
      2010 Annual Research Report
  • [Journal Article] Cephのメタデータサーバの冗長性の調査2011

    • Author(s)
      大西健太, 建部修見, 西谷明彦, 大岸智彦
    • Journal Title

      情報処理学会研究報告

      Volume: Vol.2011-HPC-129, No.8 Pages: 1-7

    • Related Report
      2010 Annual Research Report
  • [Journal Article] Gfarm Grid File System2010

    • Author(s)
      Osamu Tatebe, Kohei Hiraga, Noriyuki Soda
    • Journal Title

      New Generation Computing

      Volume: Vol.28, No.3 Pages: 257-275

    • Related Report
      2010 Annual Research Report
    • Peer Reviewed
  • [Journal Article] PCクラスタ間ファイル複製スケジューリング2010

    • Author(s)
      鈴木克典, 建部修見
    • Journal Title

      情報処理学会ACS論文誌

      Volume: Vol.3, No.3 Pages: 113-125

    • NAID

      110007990313

    • Related Report
      2010 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Pwrake : A parallel and distributed flexible workflow management tool for wide-area data intensive computing2010

    • Author(s)
      Masahiro Tanaka, Osamu Tatebe
    • Journal Title

      Proceedings of ACM International Symposium on High Performance Computing (HPDC)

      Pages: 356-359

    • Related Report
      2010 Annual Research Report
    • Peer Reviewed
  • [Journal Article] PCクラスタ間ファイル複製スケジューリング2010

    • Author(s)
      鈴木克典, 建部修見
    • Journal Title

      先進的計算基盤シンポジウムSACSIS2010論文集

      Pages: 71-78

    • NAID

      110007990313

    • Related Report
      2010 Annual Research Report
    • Peer Reviewed
  • [Journal Article] グラフ分割による広域分散並列ワークフローの効率的な実行2010

    • Author(s)
      田中昌宏, 建部修見
    • Journal Title

      先進的計算基盤シンポジウムSACSIS2010論文集

      Pages: 63-70

    • Related Report
      2010 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理2010

    • Author(s)
      三上俊介, 建部修見
    • Journal Title

      情報処理学会研究報告

      Volume: Vol.2010-HPC-126, No.4 Pages: 1-7

    • NAID

      110007995492

    • Related Report
      2010 Annual Research Report
  • [Journal Article] 広域分散アイルシステムGfarmのMPI-IOの実装と評価2010

    • Author(s)
      木村浩希, 建部修見
    • Journal Title

      情報処理学会研究報告

      Volume: Vol.2010-HPC-126, No.21 Pages: 1-6

    • Related Report
      2010 Annual Research Report
  • [Journal Article] 広域ファイルシステムHGFSのための分散メタデータサーバの実装と性能評価2010

    • Author(s)
      平賀弘平, 建部修見
    • Journal Title

      情報処理学会研究報告

      Volume: Vol.2010-HPC-126, No.29 Pages: 1-6

    • NAID

      110007995517

    • Related Report
      2010 Annual Research Report
  • [Journal Article] クラウドにおける高性能ファイルサービスの検討2010

    • Author(s)
      小林賢司, 建部修見
    • Journal Title

      情報処理学会研究報告

      Volume: Vol.2010-HPC-126, No.38 Pages: 1-6

    • NAID

      110007995526

    • Related Report
      2010 Annual Research Report
  • [Journal Article] 遠隔ファイルアクセスにおけるアクセスパターンと遅延の影響2010

    • Author(s)
      大辻弘貴, 建部修見
    • Journal Title

      情報処理学会研究報告

      Volume: Vol.2010-HPC-128, No.6 Pages: 1-8

    • Related Report
      2010 Annual Research Report
  • [Journal Article] 広域分散ファイルシステム Gfarm のMPI-IOの実装2010

    • Author(s)
      木村浩希, 建部修見
    • Journal Title

      情報処理学会研究報告 2010-HPC-124(15)

      Pages: 1-6

    • NAID

      110007995476

    • Related Report
      2009 Annual Research Report
  • [Journal Article] クラウドコンピューティングにおける高性能ファイルシステムの検討2010

    • Author(s)
      小林賢司, 建部修見
    • Journal Title

      情報処理学会第72回全国大会論文集 3

      Pages: 385-386

    • NAID

      110008123230

    • Related Report
      2009 Annual Research Report
  • [Journal Article] MapReduce におけるファイルシステムの性能評価2010

    • Author(s)
      三上俊輔, 建部修見
    • Journal Title

      情報処理学会第72回全国大会論文集 1

      Pages: 69-70

    • NAID

      110008105368

    • Related Report
      2009 Annual Research Report
  • [Journal Article] 広域ファイルシステムのための分散メタデータサーバの設計2009

    • Author(s)
      平賀弘平, 建部修見
    • Journal Title

      情報処理学会研究報告 2009-HPC-121(32)

      Pages: 1-7

    • Related Report
      2009 Annual Research Report
  • [Journal Article] クラスタ間高速ファイル転送方式の提案と評価2009

    • Author(s)
      鈴木克典, 建部修見
    • Journal Title

      情報処理学会研究報告 2009-HPC-121(31)

      Pages: 1-8

    • Related Report
      2009 Annual Research Report
  • [Presentation] Calling the Cloud : The Gfarm-iPhone Bridge2011

    • Author(s)
      Joel Tucci
    • Organizer
      PRAGMA 20 Workshop
    • Place of Presentation
      Hong Kong University (Hong Kong, China)
    • Year and Date
      2011-03-04
    • Related Report
      2010 Annual Research Report
  • [Presentation] HGMDS : Design of Distributed Metadata Management System for Global File System2011

    • Author(s)
      Kohei Hiraga, Osamu Tatebe
    • Organizer
      PRAGMA 20 Workshop Poster Presentation
    • Place of Presentation
      Hong Kong University (Hong Kong, China)
    • Year and Date
      2011-03-03
    • Related Report
      2010 Annual Research Report
  • [Presentation] MPI-IO/Gfarm : An Optimized Implementation of MPI-IO for the Gfarm File System2011

    • Author(s)
      Hiroki Kimura, Osamu Tatebe
    • Organizer
      PRAGMA 20 Workshop Poster Presentation
    • Place of Presentation
      Hong Kong University (Hong Kong, China)
    • Year and Date
      2011-03-03
    • Related Report
      2010 Annual Research Report
  • [Presentation] High Performance File System Service for Cloud Computing2011

    • Author(s)
      Kenji Kobayashi, Osamu Tatebe
    • Organizer
      PRAGMA 20 Workshop Poster Presentation
    • Place of Presentation
      Hong Kong University (Hong Kong, China)
    • Year and Date
      2011-03-03
    • Related Report
      2010 Annual Research Report
  • [Presentation] Optimization of Remote File Access Considering Access Pattern and Network Dalay2011

    • Author(s)
      Hiroki Ohtsuji, Osamu Tatebe
    • Organizer
      PRAGMA 20 Workshop
    • Place of Presentation
      Hong Kong University (Hong Kong, China)
    • Year and Date
      2011-03-03
    • Related Report
      2010 Annual Research Report
  • [Presentation] クラスタ間並列複製作成のためのファイル分割を許さないスケジューリング2011

    • Author(s)
      鈴木克典, 建部修見
    • Organizer
      ハイパフォーマンスコンピューティングと計算科学シンポジウムHPCS2011
    • Place of Presentation
      産業技術総合研究所(茨城県)
    • Year and Date
      2011-01-18
    • Related Report
      2010 Annual Research Report
  • [Presentation] High Performance File System Service for Cloud Computing2010

    • Author(s)
      Kenji Kobayashi, Osamu Tatebe
    • Organizer
      PRAGMA 19 Workshop
    • Place of Presentation
      Jilin University (Changchun, China)
    • Year and Date
      2010-09-15
    • Related Report
      2010 Annual Research Report
  • [Presentation] Gfarm Integration2010

    • Author(s)
      Osamu Tatebe
    • Organizer
      PRAGMA Institute on Implementation
    • Place of Presentation
      Jilin University (Changchun, China)(招待講演)
    • Year and Date
      2010-09-13
    • Related Report
      2010 Annual Research Report
  • [Presentation] High Performance File System Service for Cloud Computing2010

    • Author(s)
      Kenji Kobayashi, Osamu Tatebe
    • Organizer
      7^<th> Korea-Japan e-Science Symposium
    • Place of Presentation
      Daemyung Resort (Korea)
    • Year and Date
      2010-07-06
    • Related Report
      2010 Annual Research Report
  • [Presentation] A Design and Implementation of MPI-IO for Gfarm File System2010

    • Author(s)
      Hiroki Kimura, Osamu Tatebe
    • Organizer
      7^<th> Korea-Japan e-Science Symposium
    • Place of Presentation
      Daemyung Resort (Korea)
    • Year and Date
      2010-07-06
    • Related Report
      2010 Annual Research Report
  • [Presentation] Pwrake : A parallel and distributed flexible workflow management tool for wide-area data intensive computing2010

    • Author(s)
      Masahiro Tanaka, Osamu Tatebe
    • Organizer
      ACM International symposium on High Performance Distributed Computing (HPCD) Poster Presentation
    • Place of Presentation
      DoubleTree Hotel Chicago (Chicago, IL, USA)
    • Year and Date
      2010-06-23
    • Related Report
      2010 Annual Research Report
  • [Presentation] PCクラスタ間ファイル複製スケジューリング2010

    • Author(s)
      鈴木克典, 建部修見
    • Organizer
      先進的計算基盤シンポジウムSACSIS2010
    • Place of Presentation
      奈良県新公会堂(奈良県)
    • Year and Date
      2010-05-27
    • Related Report
      2010 Annual Research Report
  • [Presentation] グラフ分割による広域分散並列ワークフローの効率的な実行2010

    • Author(s)
      田中昌宏, 建部修見
    • Organizer
      先進的計算基盤シンポジウムSACSIS2010
    • Place of Presentation
      奈良県新公会堂(奈良県)
    • Year and Date
      2010-05-27
    • Related Report
      2010 Annual Research Report
  • [Presentation] クラウドコンピューティングにおける高性能ファイルシステムの検討2010

    • Author(s)
      小林賢司, 建部修見
    • Organizer
      情報処理学会第72回全国大会
    • Place of Presentation
      東京大学(東京都)
    • Year and Date
      2010-03-09
    • Related Report
      2009 Annual Research Report
  • [Presentation] Map Reduce におけるファイルシステムの性能評価2010

    • Author(s)
      三上俊輔, 建部修見
    • Organizer
      情報処理学会第72回全国大会
    • Place of Presentation
      東京大学(東京都)
    • Year and Date
      2010-03-09
    • Related Report
      2009 Annual Research Report
  • [Presentation] Hadoop MapReduce on Gfarm file system2010

    • Author(s)
      Shunsuke Mikami, Kazuki Ohta, Osamu Tatebe
    • Organizer
      PRAGMA 18 Workshop
    • Place of Presentation
      UCSD(San Diego, CA, USA)
    • Year and Date
      2010-03-04
    • Related Report
      2009 Annual Research Report
  • [Presentation] 広域分散ファイルシステム Gfarm のMPI-IOの実装2010

    • Author(s)
      木村浩希, 建部修見
    • Organizer
      情報処理学会HPC研究会
    • Place of Presentation
      熱海ニューフジヤホテル(静岡県)
    • Year and Date
      2010-02-23
    • Related Report
      2009 Annual Research Report
  • [Presentation] Wide-area Distributed File System2010

    • Author(s)
      Osamu Tatebe, et.al.
    • Organizer
      ACM/IEEE International Conference for High Performance Computing, Networking, Storage and Analysis (SC10) Research Exhibition
    • Place of Presentation
      Ernest N.Morial Convention Center (New Orleans, LA, USA)
    • Related Report
      2010 Annual Research Report
  • [Presentation] 大規模データ解析技術が支えるe-サイエンス2009

    • Author(s)
      建部修見
    • Organizer
      第8回情報科学技術フォーラムFIT2009
    • Place of Presentation
      東北工業大学(宮城県)
    • Year and Date
      2009-09-04
    • Related Report
      2009 Annual Research Report
  • [Presentation] 広域ファイルシステムのための分散メタデータサーバの設計2009

    • Author(s)
      平賀弘平, 建部修見
    • Organizer
      情報処理学会HPC研究会
    • Place of Presentation
      フォレスト仙台(宮城県)
    • Year and Date
      2009-08-06
    • Related Report
      2009 Annual Research Report
  • [Presentation] クラスタ間高速ファイル転送方式の提案と評価2009

    • Author(s)
      鈴木克典, 建部修見
    • Organizer
      情報処理学会HPC研究会
    • Place of Presentation
      フォレスト仙台(宮城県)
    • Year and Date
      2009-08-06
    • Related Report
      2009 Annual Research Report
  • [Presentation] Wide-area Data Sharing and Data Analysis for e-Science2009

    • Author(s)
      建部修見
    • Organizer
      Seeds and Needs for Large-Scale Computing Workshop
    • Place of Presentation
      沖縄科学技術研究基盤整備機構(沖縄県)
    • Year and Date
      2009-06-05
    • Related Report
      2009 Annual Research Report
  • [Presentation] e-Science powered by Wide-area Distributed File System2009

    • Author(s)
      Osamu Tatebe, Kohei Hiraga, Katsunori Suzuki, Masahiro Tanaka
    • Organizer
      ACM/IEEE International Conference for High Performance Computing, Networking, Storage and Analysis(SC09)Research Exhibition
    • Place of Presentation
      Oregon Convention Center(Portland, OR, USA)
    • Related Report
      2009 Annual Research Report
  • [Remarks]

    • URL

      http://datafarm.apgrid.org/

    • Related Report
      2010 Annual Research Report
  • [Remarks]

    • URL

      http://datafarm.apgrid.org/

    • Related Report
      2009 Annual Research Report

URL: 

Published: 2009-04-01   Modified: 2018-03-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi