• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2011 Fiscal Year Research-status Report

超高速ストレージ環境でのファイルI/O処理におけるCPUボトルネックの除去

Research Project

Project/Area Number 23650053
Research InstitutionWaseda University

Principal Investigator

上田 高徳  早稲田大学, 付置研究所, 助手 (90546863)

Project Period (FY) 2011-04-28 – 2013-03-31
KeywordsファイルI/O / ストレージ / DBMS / DSMS / スケジューリング / 並列化
Research Abstract

本研究は、ストレージがボトルネックになると考えられてきたファイルI/O処理において、将来的にはCPUがボトルネックになる可能性を仮定して進めるものである。そこで、「(1)CPUボトルネックになる環境・状況の明確化」をするために、SSDを用いてCPUボトルネックが発生する状況の検証を行った。Linuxカーネルのプロファイリングを取得しながら検討した結果、アクセス速度が毎秒2GBを超える場合には、I/O処理に関わるシステム時間で殆どのCPU時間を使い切る状態になることが確認できた。概ね想定通りの結果である。 次に、「(2)ファイルI/O処理並列化手法の開発」を行うために、OSのカーネルレベルで自動的にI/O処理を並列化する方法と、ユーザプログラムからI/O処理を並列に発行する方法を検討した。特に初年度はユーザプログラムでの検討を重点的に行い、関係データベース (DBMS) に加えて、データストリーム処理基盤 (DSMS) でのI/O処理におけるCPUボトルネックの可能性を検討した。DSMSは原則的にオンメモリで処理を行うシステムであるが、近年DBMSとの連携が検討されており、ファイルI/Oが発生する機会が増えている。また、DSMSでは低レイテンシかつ高スループットでデータを処理する必要があり、ファイルI/O処理とストリーム処理をバランスよく並列実行する必要がある。 そこで初年度は、データストリーム並列処理のためのスケジューリングアルゴリズムを開発した(DEIM 2012において発表)。開発したアルゴリズムは処理オペレータごとのCPU使用率を用いて割り当てるスレッドリソースを動的計画法で決定し、低レイテンシ処理を実現する。ファイルI/O処理をオペレータ化して本アルゴリズムを適用することで、ファイルI/O並列実行のスケジューリングが可能となる。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

初年度は申請書に記載した、「(1)CPUボトルネックになる環境・状況の明確化」と「(2)ファイルI/O処理並列化手法の開発」を実施することができた。また、研究計画どおり、DBMSとDSMSを前提にして検討を進めることができ、項目としては概ね研究計画に沿って進んでいると考えている。 しかし、個々の項目についてより深い検討の余地が残っている。たとえば、CPUボトルネックになる状況を検討する際には現実のDSMSアプリケーションやSQLクエリを用いるのではなく、実験用に準備した仮想的なベンチマークを用いている。現実の処理環境ではI/O処理に加えてアプリケーションの処理も多く実行されるため、I/O処理のみでCPUが使い切られる訳ではない。そして、I/O処理並列化手法の開発では、OSカーネルレベルでの検討が不十分である。ストレージが持つ最大性能を実際に発揮するためには、OSと連携したスケジューリングが必要不可欠である。 したがって本研究が目指す、実用的なI/O並列化手法の開発という観点から総合的に勘案すると、「やや遅れている」と判断せざるを得ない。今後の研究の発展にいっそう努力する。

Strategy for Future Research Activity

引き続きDBMSとDSMSを対象にして研究を進める。可能であれば、LinuxカーネルレベルでのI/O処理並列化を検討する。データベース用の標準ベンチマークであるTPC-Hや独自のアプリケーションを用いて性能評価を行い、ストレージが得意とするシーケンシャルアクセス、たとえばテーブルスキャンが支配的なクエリにおいてCPUボトルネックが発生せず、超高速ストレージの性能を使い切れることを示す。実験には最新のSSDで構成されたハードウェアRAIDを構築して利用する。対象のオープンソースDBMSとして、MonetDB・PostgreSQL・MySQL を検討している。DSMSとしては申請者が開発しているQueueLinkerを用いる。 研究成果は国内学会や国内論文誌で発表すると共に、SIGMOD・VLDB・ICDEといったデータ工学系のトップカンファレンス、あるいはUSENIXやFASTのようなストレージ系のトップカンファレンスへ投稿する。

Expenditure Plans for the Next FY Research Funding

実験に利用するストレージを拡充するために、Intel製SSDを複数台購入し、超高速なハードウェアRAIDを構築して実験に利用する。現在の残予算を活用することでアクセス速度が5GB/s~6GB/s程度のストレージ環境を整備できると考えている。また旅費は、2013年3月に予定されているDEIM 2013での発表と、国際会議での発表1回に充てることを予定している。そして、情報処理学会論文誌ほか、2件分の論文誌掲載料を見込んでいる。

  • Research Products

    (1 results)

All 2012

All Presentation (1 results)

  • [Presentation] マルチコア環境における低レイテンシストリーム処理のためのスレッド割り当て手法2012

    • Author(s)
      上田高徳,秋岡明香,山名早人
    • Organizer
      第4回データ工学と情報マネジメントに関するフォーラム (DEIM 2012)
    • Place of Presentation
      神戸
    • Year and Date
      2012年3月3日

URL: 

Published: 2013-07-10  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi