2012 Fiscal Year Annual Research Report
超高速ストレージ環境でのファイルＩ／Ｏ処理におけるＣＰＵボトルネックの除去
| Project/Area Number |
23650053
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
上田 高徳 早稲田大学, 付置研究所, 研究助手 (90546863)
|
|---|
| Keywords | ストレージ / ファイルI/O / I/Oボトルネック / メニーコアCPU / DBMS / DSMS |
|---|
| Research Abstract |
メニーコア化により、CPU 1コアあたりの性能向上が期待できなくなった一方で、SSDの登場によりストレージ性能は向上している。本研究は、将来の超高速ストレージ環境でのファイルI/Oにおいては、ストレージ性能ではなくCPUによるソフトウェア処理がボトルネックになると仮定して進めてきた。
本研究の成果として、新規開発したデータストリーム処理基盤 (DSMS) であるQueueLinkerのためのスケジューリングアルゴリズムがある。提案手法は処理オペレータごとのCPU使用率を用いて割り当てるスレッドを動的計画法で決定し、低レイテンシ処理を実現する。提案内容をDEIM 2012において発表したところ、最優秀論文賞を受賞し高い評価を得た。DSMSは原則的にオンメモリで処理を行うが、DBMSとの連携時にはファイルI/Oが発生する。ファイルI/O処理をオペレータ化して本アルゴリズムを適用することで、I/O処理のパイプライン化が可能になる。また、QueueLinker上で動作する新規開発したWebクローラにおいては、ファイルI/O処理を並列実行することで高速化が可能なことを確認できた。
さらに、DBMS を対象として、超高速SSD環境下における性能特性について検討を行い、DBMSにおいて重要な演算であるJoinについて新たなコストモデルや実行方法の知見が得られた。これらは、将来のストレージ環境でのクエリ最適化への応用が期待される。研究成果はDEIM2013において発表した。
本研究では、予定していた 1. CPUボトルネックになる環境・状況の明確化、2. ファイルI/O処理並列化手法の開発 において成果を上げることができたと言える。残念ながら、ストレージエンジンの開発は完了することができなかったが、研究の一部は2編の論文誌に採録されており、十分な成果を上げられたと考えている。
|
