• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 研究成果報告書

ビッグデータ解析環境への効率的なデータステージングの研究

研究課題

  • PDF
研究課題/領域番号 16K21675
研究種目

若手研究(B)

配分区分基金
研究分野 マルチメディア・データベース
高性能計算
研究機関国立研究開発法人産業技術総合研究所

研究代表者

谷村 勇輔  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80415710)

研究期間 (年度) 2016-04-01 – 2018-03-31
キーワードデータストレージ / ビッグデータ解析 / データステージング / 資源管理 / クラウド
研究成果の概要

本研究では,ビッグデータ解析処理層(主計算インフラ)とバックエンド層(主ストレージインフラ)において,解析処理層で用いられるデータ構造をできる限り保持したままのデータ・ステージング,主ストレージインフラ側での解析前・解析後処理によるステージングの効率化,同時ステージングにおける性能干渉を防ぐためのスケジューリングに取り組み,SparkとAlluxioを用いたプロトタイプの設計と実装,主ストレージインフラ側での処理を含むAlluxioへのI/O性能評価,I/O性能干渉の軽減策を検討し,主計算インフラの多目的の運用や主ストレージインフラとの相補的な利用に向けた要素技術を開発した.

自由記述の分野

ストレージシステム

URL: 

公開日: 2019-03-29  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi