• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2009 Fiscal Year Annual Research Report

スケーラブルな広域ファイルシステムの研究

Publicly Offered Research

Project AreaCyber Infrastructure for the Information-explosion Era
Project/Area Number 21013005
Research InstitutionUniversity of Tsukuba

Principal Investigator

建部 修見  University of Tsukuba, 大学院・システム情報工学研究科, 准教授 (70357432)

Keywords広域分散ファイルシステム / 分散メタデータサーバ / マルチマスタ / 結果整合性 / 衝突の検知 / 衝突の解消 / ファイル複製作成 / 複製選択
Research Abstract

増加の一途のデータの解析に対し,複数の拠点による広域分散データ解析の要求が高まっている。そのためには広域ファイルシステムが有用であるが,データ解析の規模が拡大するにつれ,ファイルを管理するメタデータのアクセス負荷の増大,広域ネットワークの遅延による応答性の低下が問題となっている。本年度は広域分散データ解析が必要とする性能を達成するためのシステムアーキテクチャの検討と応答性向上に有効なクラスタ間高速ファイル複製作成に関するアルゴリズムの検討を実施した。システムアーキテクチャの検討では、マルチマスタ構成をとる分散メタデータサーバに関する研究を行った。各拠点にメタデータサーバを分散配置し、それぞれのメタデータサーバでのファイルシステムメタデータの更新を許すことにより、応答時間の短縮を図る。ここで、各拠点のメタデータサーバの更新に対し衝突が起こらないことを保証すると、応答時間の短縮を図ることができないため、広域でのファイル共有において問題が起こらない程度にファイルシステムのセマンティクスの緩和を図った。結果整合性を保証するマルチマスタ構成の分散メタデータサーバのアーキテクチャ設計し、初期性能評価を行った。クラスタ間高速ファイル転送の研究としては、本年度はサイトAに保持している多数のファイルをサイトBに効率的に転送するためのスケジューリングの課題に取組、転送ファイルスケジューリングアルゴリズム、複製選択アルゴリズム、転送前動的ファイル複製作成アルゴリズムを提案し性能評価を行った。

  • Research Products

    (15 results)

All 2010 2009 Other

All Journal Article (5 results) Presentation (9 results) Remarks (1 results)

  • [Journal Article] 広域分散ファイルシステム Gfarm のMPI-IOの実装2010

    • Author(s)
      木村浩希, 建部修見
    • Journal Title

      情報処理学会研究報告 2010-HPC-124(15)

      Pages: 1-6

  • [Journal Article] クラウドコンピューティングにおける高性能ファイルシステムの検討2010

    • Author(s)
      小林賢司, 建部修見
    • Journal Title

      情報処理学会第72回全国大会論文集 3

      Pages: 385-386

  • [Journal Article] MapReduce におけるファイルシステムの性能評価2010

    • Author(s)
      三上俊輔, 建部修見
    • Journal Title

      情報処理学会第72回全国大会論文集 1

      Pages: 69-70

  • [Journal Article] 広域ファイルシステムのための分散メタデータサーバの設計2009

    • Author(s)
      平賀弘平, 建部修見
    • Journal Title

      情報処理学会研究報告 2009-HPC-121(32)

      Pages: 1-7

  • [Journal Article] クラスタ間高速ファイル転送方式の提案と評価2009

    • Author(s)
      鈴木克典, 建部修見
    • Journal Title

      情報処理学会研究報告 2009-HPC-121(31)

      Pages: 1-8

  • [Presentation] クラウドコンピューティングにおける高性能ファイルシステムの検討2010

    • Author(s)
      小林賢司, 建部修見
    • Organizer
      情報処理学会第72回全国大会
    • Place of Presentation
      東京大学(東京都)
    • Year and Date
      2010-03-09
  • [Presentation] Map Reduce におけるファイルシステムの性能評価2010

    • Author(s)
      三上俊輔, 建部修見
    • Organizer
      情報処理学会第72回全国大会
    • Place of Presentation
      東京大学(東京都)
    • Year and Date
      2010-03-09
  • [Presentation] Hadoop MapReduce on Gfarm file system2010

    • Author(s)
      Shunsuke Mikami, Kazuki Ohta, Osamu Tatebe
    • Organizer
      PRAGMA 18 Workshop
    • Place of Presentation
      UCSD(San Diego, CA, USA)
    • Year and Date
      2010-03-04
  • [Presentation] 広域分散ファイルシステム Gfarm のMPI-IOの実装2010

    • Author(s)
      木村浩希, 建部修見
    • Organizer
      情報処理学会HPC研究会
    • Place of Presentation
      熱海ニューフジヤホテル(静岡県)
    • Year and Date
      2010-02-23
  • [Presentation] e-Science powered by Wide-area Distributed File System2009

    • Author(s)
      Osamu Tatebe, Kohei Hiraga, Katsunori Suzuki, Masahiro Tanaka
    • Organizer
      ACM/IEEE International Conference for High Performance Computing, Networking, Storage and Analysis(SC09)Research Exhibition
    • Place of Presentation
      Oregon Convention Center(Portland, OR, USA)
    • Year and Date
      20091116-20091119
  • [Presentation] 大規模データ解析技術が支えるe-サイエンス2009

    • Author(s)
      建部修見
    • Organizer
      第8回情報科学技術フォーラムFIT2009
    • Place of Presentation
      東北工業大学(宮城県)
    • Year and Date
      2009-09-04
  • [Presentation] 広域ファイルシステムのための分散メタデータサーバの設計2009

    • Author(s)
      平賀弘平, 建部修見
    • Organizer
      情報処理学会HPC研究会
    • Place of Presentation
      フォレスト仙台(宮城県)
    • Year and Date
      2009-08-06
  • [Presentation] クラスタ間高速ファイル転送方式の提案と評価2009

    • Author(s)
      鈴木克典, 建部修見
    • Organizer
      情報処理学会HPC研究会
    • Place of Presentation
      フォレスト仙台(宮城県)
    • Year and Date
      2009-08-06
  • [Presentation] Wide-area Data Sharing and Data Analysis for e-Science2009

    • Author(s)
      建部修見
    • Organizer
      Seeds and Needs for Large-Scale Computing Workshop
    • Place of Presentation
      沖縄科学技術研究基盤整備機構(沖縄県)
    • Year and Date
      2009-06-05
  • [Remarks]

    • URL

      http://datafarm.apgrid.org/

URL: 

Published: 2011-06-16   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi