2011 Fiscal Year Research-status Report
超高速ストレージ環境でのファイルＩ／Ｏ処理におけるＣＰＵボトルネックの除去
| Project/Area Number |
23650053
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
上田 高徳 早稲田大学, 付置研究所, 助手 (90546863)
|
|---|
| Project Period (FY) |
2011-04-28 – 2013-03-31
|
| Keywords | ファイルI/O / ストレージ / DBMS / DSMS / スケジューリング / 並列化 |
|---|
| Research Abstract |
本研究は、ストレージがボトルネックになると考えられてきたファイルI/O処理において、将来的にはCPUがボトルネックになる可能性を仮定して進めるものである。そこで、「(1)CPUボトルネックになる環境・状況の明確化」をするために、SSDを用いてCPUボトルネックが発生する状況の検証を行った。Linuxカーネルのプロファイリングを取得しながら検討した結果、アクセス速度が毎秒2GBを超える場合には、I/O処理に関わるシステム時間で殆どのCPU時間を使い切る状態になることが確認できた。概ね想定通りの結果である。 次に、「(2)ファイルI/O処理並列化手法の開発」を行うために、OSのカーネルレベルで自動的にI/O処理を並列化する方法と、ユーザプログラムからI/O処理を並列に発行する方法を検討した。特に初年度はユーザプログラムでの検討を重点的に行い、関係データベース (DBMS) に加えて、データストリーム処理基盤 (DSMS) でのI/O処理におけるCPUボトルネックの可能性を検討した。DSMSは原則的にオンメモリで処理を行うシステムであるが、近年DBMSとの連携が検討されており、ファイルI/Oが発生する機会が増えている。また、DSMSでは低レイテンシかつ高スループットでデータを処理する必要があり、ファイルI/O処理とストリーム処理をバランスよく並列実行する必要がある。 そこで初年度は、データストリーム並列処理のためのスケジューリングアルゴリズムを開発した（DEIM 2012において発表）。開発したアルゴリズムは処理オペレータごとのCPU使用率を用いて割り当てるスレッドリソースを動的計画法で決定し、低レイテンシ処理を実現する。ファイルI/O処理をオペレータ化して本アルゴリズムを適用することで、ファイルI/O並列実行のスケジューリングが可能となる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
初年度は申請書に記載した、「(1)CPUボトルネックになる環境・状況の明確化」と「(2)ファイルI/O処理並列化手法の開発」を実施することができた。また、研究計画どおり、DBMSとDSMSを前提にして検討を進めることができ、項目としては概ね研究計画に沿って進んでいると考えている。 しかし、個々の項目についてより深い検討の余地が残っている。たとえば、CPUボトルネックになる状況を検討する際には現実のDSMSアプリケーションやSQLクエリを用いるのではなく、実験用に準備した仮想的なベンチマークを用いている。現実の処理環境ではI/O処理に加えてアプリケーションの処理も多く実行されるため、I/O処理のみでCPUが使い切られる訳ではない。そして、I/O処理並列化手法の開発では、OSカーネルレベルでの検討が不十分である。ストレージが持つ最大性能を実際に発揮するためには、OSと連携したスケジューリングが必要不可欠である。 したがって本研究が目指す、実用的なI/O並列化手法の開発という観点から総合的に勘案すると、「やや遅れている」と判断せざるを得ない。今後の研究の発展にいっそう努力する。
|
| Strategy for Future Research Activity |
引き続きDBMSとDSMSを対象にして研究を進める。可能であれば、LinuxカーネルレベルでのI/O処理並列化を検討する。データベース用の標準ベンチマークであるTPC-Hや独自のアプリケーションを用いて性能評価を行い、ストレージが得意とするシーケンシャルアクセス、たとえばテーブルスキャンが支配的なクエリにおいてCPUボトルネックが発生せず、超高速ストレージの性能を使い切れることを示す。実験には最新のSSDで構成されたハードウェアRAIDを構築して利用する。対象のオープンソースDBMSとして、MonetDB・PostgreSQL・MySQL を検討している。DSMSとしては申請者が開発しているQueueLinkerを用いる。 研究成果は国内学会や国内論文誌で発表すると共に、SIGMOD・VLDB・ICDEといったデータ工学系のトップカンファレンス、あるいはUSENIXやFASTのようなストレージ系のトップカンファレンスへ投稿する。
|
| Expenditure Plans for the Next FY Research Funding |
実験に利用するストレージを拡充するために、Intel製SSDを複数台購入し、超高速なハードウェアRAIDを構築して実験に利用する。現在の残予算を活用することでアクセス速度が5GB/s～6GB/s程度のストレージ環境を整備できると考えている。また旅費は、2013年3月に予定されているDEIM 2013での発表と、国際会議での発表1回に充てることを予定している。そして、情報処理学会論文誌ほか、2件分の論文誌掲載料を見込んでいる。
|
Research Products
(1 results)
