2012 Fiscal Year Research-status Report
スループット性能向上を目的とした範囲検索可能分散キーバリューストア
| Project/Area Number |
24500113
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
松尾 啓志 名古屋工業大学, 工学(系)研究科(研究院), 教授 (00219396)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 分散キーバリューストア / 投機実行 / 並列実行 |
|---|
| Research Abstract |
FacebookやAmazonに代表されるように、今や１０億人が同時に１つのデータベースにアクセスする時代が到来した。このような大量アクセス環境では、従来の高度な検索性能を有するリレーショナルDBでは対応できず、新しくNoSQLと呼ばれる概念が提案され、その実装の代表例が分散キーバリューストア(Distributed Key Value Store:以下D-KVS)である。
D-KVSの導入が進むにつれ、キーの範囲を指定した検索要求が高まっている。しかし、大部分のD-KVSの実装はキーをハッシュ化するため、範囲検索時にはすべてのノードに検索要求が行われ、事実上実装は不可能である。
本研究の目的は、スケールアウト性能を有する範囲検索可能D-KVSを作成することである。その重要なマイルストーンが、分散スケジューリングアルゴリズムの開発である。しかし、動的環境下であり、しかもスケジューリング対象のノード数も100から1000を想定した分散アルゴリズムは、まだ開発されていない。
本研究では、（１）検索クエリーに並列・投機実行を導入、（２）各サーバ内のクエリースケジューリングに分散制約最適化手法を適用し、サーバ数が１００台以上に増加してもスケールアウトするシステムおよびアルゴリズムを開発することが目的である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
分散キーバリューストアCassandraに、投機・並列実行システムを導入し、基礎検討を行った。その結果、範囲検索のスループットにおいて、平均４７％、最大５３％の向上を確認した。
さらに投機実行による他のクエリへの影響を測定するために、範囲検索と単一検索を１対１の割合で送信し、応答時間を計測した。その結果、拡張していないCassandraにくらべて、平均で３７％、最大で５３％応答時間が向上した。
またスケールアウト性能に関しても測定した。その結果１２台までのサーバの増加にしたいして十分に性能がスケールアウトすることを確認した。
またMap and Reduce処理系であるApache Hadoop上に新しい分散スケジューリングアルゴリズムを導入し、従来から実装されているスケジューリングアルゴリズムに対して２３％の高速化を達成した。
|
| Strategy for Future Research Activity |
高速な範囲検索が可能な、分散キーバリューストアに対して具体的かつ有用なアプリケーションを開発することが主たる目的である。例えば学内の教育IR(Institutional Research)のために、膨大な学習データのデータマイニングに使うことも考慮する。
さらに、現在は１２台のサーバでしかスケールアウト性能の確認を行っていないが、今後は研究室内に存在する最大２０台のサーバを利用して、性能確認する予定である。またその際のスケールするために、分散制約充足アルゴリズムを利用した分散スケジューリングに関しても検討する。
|
| Expenditure Plans for the Next FY Research Funding |
上記研究を推進するために、数台のサーバを拡張する予定である。また研究速報として国内の研究会で発表する予定である。
|
