• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

分散マスタによる高信頼性・高性能MapReduceの実現

研究課題

研究課題/領域番号 23700036
研究種目

若手研究(B)

配分区分基金
研究分野 ソフトウエア
研究機関大阪大学

研究代表者

置田 真生  大阪大学, 情報科学研究科, 助教 (50563988)

研究期間 (年度) 2011 – 2013
研究課題ステータス 完了 (2013年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2013年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2012年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2011年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
キーワード並列処理・分散処理 / MapReduce / 並列分散処理 / 高性能計算 / PageRank / 耐故障性
研究概要

近年普及が進んでいる大規模並列分散処理フレームワークMapReduceについて、耐故障性の向上およびアプリケーション高速化のための新手法の開発を行った。
まず、耐故障性向上のためにフレームワークを拡張した。従来のフレームワークではマスタと呼ばれる計算機が単一障害点となる。本研究では、複数のマスタを分散配置し障害を自動的に回避する新フレームワークを開発した。
次に、アプリケーションの高速化のために中間データ処理を効率化する手法を開発した。従来手法とは異なる観点から中間データを圧縮することでよりデータ量を削減できること、およびデータの局所性を高めることで中間データの転送量を削減できることを示した。

報告書

(4件)
  • 2013 実績報告書   研究成果報告書 ( PDF )
  • 2012 実施状況報告書
  • 2011 実施状況報告書
  • 研究成果

    (27件)

すべて 2014 2013 2012 2011 その他

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 1件、 謝辞記載あり 1件) 学会発表 (24件)

  • [雑誌論文] Accelerating ODE-based Simulation of General and Heterogeneous Biophysical Models using a GPU2014

    • 著者名/発表者名
      Tomohiro Okuyama, Masao Okita, Takeshi Abe, Yoshiyuki Asai, Hiroaki Kitano, Taishin Nomura, and Kenichi Hagihara
    • 雑誌名

      IEEE Transactions on Parallel and Distributed Systems

      巻: 201(印刷中) 号: 8 ページ: 1966-1975

    • DOI

      10.1109/tpds.2013.198

    • 関連する報告書
      2013 実績報告書 2013 研究成果報告書
    • 査読あり
  • [雑誌論文] A Versatile Platform for Multilevel Modeling of Physiological Systems: SBML-PHML Hybrid Modeling and Simulation2014

    • 著者名/発表者名
      Asai Y, Abe T, Oka H, Okita M, Hagihara K, Ghosh S, Matsuoka Y, Kurachi Y, Nomura T, Kitano H
    • 雑誌名

      Advanced Biomedical Engineering

      巻: 3 号: 0 ページ: 50-58

    • DOI

      10.14326/abe.3.50

    • NAID

      130005001705

    • ISSN
      2187-5219
    • 関連する報告書
      2013 研究成果報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] A Versatile Platform for Multilevel Modeling of Physiological Systems: SBML-PHML Hybrid Modeling and Simulation2014

    • 著者名/発表者名
      Yoshiyuki Asai, Takeshi Abe, Hideki Oka, Masao Okita, Ken ichi Hagihara, Samik Ghosh, Yukiko Matsuoka, Yoshihisa Kurachi, Taishin Nomura, Hiroaki Kitano
    • 雑誌名

      Advanced Biomedical Engineering

      巻: 99 ページ: 1-1

    • NAID

      130005001705

    • 関連する報告書
      2013 実績報告書
    • 査読あり
  • [学会発表] A versatile platform for multilevel modeling of physiological systems : Template/instance framework for large-scale modeling and simulation2013

    • 著者名/発表者名
      Yoshiyuki Asai, Takeshi Abe, Hideki Oka, Masao Okita, Tomohiro Okuyama, Kenichi Hagihara, Samik Ghosh, Yukiko Matsuoka, and Hiroaki Kitano
    • 学会等名
      35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC'13)
    • 発表場所
      Osaka, Japan
    • 年月日
      2013-07-06
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] MapReduce を用いたグラフアプリケーションにおける重複メッセージの排除による高速化2013

    • 著者名/発表者名
      黒松信行, 置田真生, 萩原兼一
    • 学会等名
      第11回先進的計算基盤システムシンポジウム論文集(SACSIS 2013)
    • 発表場所
      仙台, 日本
    • 年月日
      2013-05-22
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] Towards massively parallel general biophysical simulation on the K computer'2013

    • 著者名/発表者名
      Masao Okita, Tomohiro Okuyama, Takeshi Asai, Yoshiyuki Asai, Hiroaki Kitano, and Hagihara Kenichi
    • 学会等名
      the 2nd HD Physiology International Symposium 2013,
    • 発表場所
      Tokyo, Japan
    • 関連する報告書
      2013 実績報告書
  • [学会発表] MapReduce を用いたグラフアプリケーションにおける重複メッセージの排除による高速化2013

    • 著者名/発表者名
      黒松信行, 置田真生, 萩原兼一
    • 学会等名
      第11回先進的計算基盤システムシンポジウム(SACSIS 2013)
    • 発表場所
      仙台,日本
    • 関連する報告書
      2012 実施状況報告書
  • [学会発表] Evolving fault-tolerance in Hadoop with robust auto-recovering JobTracker2012

    • 著者名/発表者名
      Nobuyuki Kuromatsu, Masao Okita, and Kenichi Hagihara
    • 学会等名
      Proceedings of the 3rd International Conference on Networking and Computing (ICNC 2012)
    • 発表場所
      Okinawa, Japan
    • 年月日
      2012-12-07
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] Hadoop の性能ボトルネックを特定するための実行トレース可視化ツール2012

    • 著者名/発表者名
      古谷達朗, 置田真生, 萩原兼一
    • 学会等名
      平成24年度情報処理学会関西支部支部大会講演論文集
    • 発表場所
      大阪, 日本
    • 年月日
      2012-09-21
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] Multilevel modeling of Physiological Systems and Simulation Platform : PhysioDesigner, Flint and Flint K3 service2012

    • 著者名/発表者名
      Yoshiyuki Asai, Takeshi Abe, Masao Okita, Tomohiro Okuyama, Nobukazu Yoshioka, Shigetoshi Yokoyama, Masaru Nagaku, Kenichi Hagihara, and Hiroaki Kitano
    • 学会等名
      Proceedings of the 12th IEEE/IPSJ International Symposium on Applications and the Internet (SAINT 2012)
    • 発表場所
      Izmir, Turkey
    • 年月日
      2012-07-17
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] 異種混合生体シミュレータinsilicoSimの自動並列化2012

    • 著者名/発表者名
      置田真生
    • 学会等名
      日本機械学会第24回バイオエンジニアリング講演会
    • 発表場所
      大阪大学豊中キャンパス(大阪府)
    • 関連する報告書
      2011 実施状況報告書
  • [学会発表] 並列シミュレータ insilicoSim における モテル規模に応じたエージェント割り当て手法2012

    • 著者名/発表者名
      福井伸弥
    • 学会等名
      2012年電子情報通信学会総合大会
    • 発表場所
      岡山大学津島キャンパス(岡山県)
    • 関連する報告書
      2011 実施状況報告書
  • [学会発表] 系列パターン抽出のMapReduce 実装におけるタスク分割方式の検討2011

    • 著者名/発表者名
      井上佑希, 置田真生, 萩原兼一
    • 学会等名
      情報処理学会研究報告, 2010-HPC-130
    • 発表場所
      鹿児島,日本
    • 年月日
      2011-07-29
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] Hadoop におけるジョブトラッカの耐故障機能の検討2011

    • 著者名/発表者名
      黒松信行, 置田真生, 萩原兼一
    • 学会等名
      第9回先進的計算基盤システムシンポジウム論文集(SACSIS 2011)
    • 発表場所
      東京, 日本
    • 年月日
      2011-05-26
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] Hadoopにおけるジョブトラッカの耐故障機能の検討2011

    • 著者名/発表者名
      黒松信行
    • 学会等名
      第9回先進的計算基盤システムシンポジウム
    • 発表場所
      秋葉原コンベンションホール(東京都)
    • 関連する報告書
      2011 実施状況報告書
  • [学会発表] 系列パターン抽出のMapReduce実装におけるタスク分割方式の検討2011

    • 著者名/発表者名
      井上佑希
    • 学会等名
      第130回情報処理学会ハイパフォーマンスコンピューティング研究会
    • 発表場所
      かごしま県民交流センター(鹿児島県)
    • 関連する報告書
      2011 実施状況報告書
  • [学会発表] インタプリタ型汎用生体シミュレータinsilicoSimのGPUによる高速化2011

    • 著者名/発表者名
      奥山倫弘
    • 学会等名
      第130回情報処理学会ハイパフォーマンスコンピューティング研究会
    • 発表場所
      かごしま県民交流センター(鹿児島県)
    • 関連する報告書
      2011 実施状況報告書
  • [学会発表] 汎用生体シミュレータinsilicoSimにおける生体モデル内の依存関係に着目したスケジューリング2011

    • 著者名/発表者名
      松井龍
    • 学会等名
      平成23年度情報処理学会関西支部支部大会
    • 発表場所
      大阪大学中之島センター(大阪府)
    • 関連する報告書
      2011 実施状況報告書
  • [学会発表] Accelerating General and Heterogeneous Biophysical Simulation Using the GPU Interpreter for Solving ODEs2011

    • 著者名/発表者名
      Tomohiro Okuyama
    • 学会等名
      the 4th Global COE International Symposium on Physiome and Systems Biology for Integrated Life Sciences and Predictive Medicine
    • 発表場所
      千里ライフサイエンスセンター(大阪府)
    • 関連する報告書
      2011 実施状況報告書
  • [学会発表] PhysioDesigner and Flint: a platform for multilevel modeling of physiological systems and simulation

    • 著者名/発表者名
      Yoshiyuki Asai, Takeshi Abe, Hideki Oka, Masao Okita, Tomohiro Okuyama, Kenichi Hagihara, Yoshihisa Kurachi, Hiroaki Kitano
    • 学会等名
      5th International Conference on Computational Bioengineering (ICCB 2013)
    • 発表場所
      Leuven, Belgium
    • 関連する報告書
      2013 実績報告書
  • [学会発表] A versatile platform for multilevel modeling of physiological systems: Template/instance framework for large-scale modeling and simulation

    • 著者名/発表者名
      Yoshiyuki Asai, Takeshi Abe, Hideki Oka, Masao Okita, Tomohiro Okuyama, Kenichi Hagihara, Samik Ghosh, Yukiko Matsuoka, Hiroaki Kitano
    • 学会等名
      35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC'13)
    • 発表場所
      Osaka, Japan
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 汎用生体モデルの高速な並列シミュレーションのための階層的依存グラフの自動分割

    • 著者名/発表者名
      吉川禎, 中村亜紀, 置田真生, 安部武志, 浅井義之, 北野宏明, 野村泰伸, 萩原兼一
    • 学会等名
      情報処理学会研究報告, 2014-HPC-143
    • 発表場所
      石川、日本
    • 関連する報告書
      2013 実績報告書
  • [学会発表] GPU クラスタを用いた大規模生体シミュレーションにおける CPU・GPU 間データ転送の効率化

    • 著者名/発表者名
      大越雄一, 置田真生, 安部武志, 浅井義之, 北野宏明, 萩原兼一
    • 学会等名
      情報処理学会研究報告, 2013-HPC-140
    • 発表場所
      福岡、日本
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Accelerating General and Heterogeneous Biophysical Simulations Using the GPU

    • 著者名/発表者名
      Tomohiro Okuyama, Masao Okita, Takeshi Abe, Yoshiyuki Asai, Taishin Nomura, Hiroaki Kitano, Kenichi Hagihara
    • 学会等名
      The 4th GPU Technology Conference (GTC 2013)
    • 発表場所
      San Jose, CA, USA
    • 関連する報告書
      2012 実施状況報告書
  • [学会発表] Evolving fault-tolerance in Hadoop with robust auto-recovering JobTracker

    • 著者名/発表者名
      Nobuyuki Kuromatsu, Masao Okita, Kenichi Hagihara
    • 学会等名
      The International Workshop on Networking, Computing, Systems, and Software (NCSS 2012)
    • 発表場所
      Okinawa, Japan
    • 関連する報告書
      2012 実施状況報告書
  • [学会発表] Hadoopの性能ボトルネックを特定するための実行トレース可視化ツール

    • 著者名/発表者名
      古谷達朗, 置田真生, 萩原兼一
    • 学会等名
      平成24年度情報処理学会関西支部支部大会
    • 発表場所
      大阪, 日本
    • 関連する報告書
      2012 実施状況報告書
  • [学会発表] 生体モデルにおける数式の類似性に着目したOpenMPによる並列シミュレーションの検討

    • 著者名/発表者名
      吉川禎, 奥山倫弘, 置田真生, 浅井義之, 安部武志, 野村泰伸, 八木哲也, 萩原兼一
    • 学会等名
      第10回先進的計算基盤システムシンポジウム(SACSIS 2012)
    • 発表場所
      神戸, 日本
    • 関連する報告書
      2012 実施状況報告書

URL: 

公開日: 2011-08-05   更新日: 2019-07-29  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi