2016 Fiscal Year Annual Research Report
Power Effective Distributed Database Management System Capable of High-speed Scaling
| Project/Area Number |
26730040
|
|---|
| Research Institution | Kogakuin University |
|---|
Principal Investigator |
山口 実靖 工学院大学, 情報学部(情報工学部), 准教授 (50439262)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | ビッグデータ / 分散KVS / 省電力 / データストレージ / ネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では，KVS(Key-Value Store)と呼ばれるクラウド用分散データベース管理システムの性能伸縮性の向上と，これによる省電力化に取り組んだ．このために，以下のことを達成した．
計算機台数二桁の規模のクラウド分散KVSを構築し，KVSトランザクション性能と性能伸縮性の評価を行った．これにより，ノードの追加削除による性能伸縮に長い時間を要し，ノード追加削除中には性能劣化が生じることを示した．
次に，分散KVSシステムの実装(本研究ではCassandraを使用)，オペレーティングシステムなどのシステムソフトウェアの実装(本研究ではLinuxなどを使用)を改変し，データベース処理やI/O処理の解析システムを構築した．これにより，ノード追加削除中のシステムの振る舞いの観察を可能とし，性能劣化原因の考察を可能とした．
そして，同解析システムを用いて，主にI/O処理にノード追加削除時の性能劣化要因があることを確認した．具体的には，非常に大規模なデータにアクセスしているため頻繁にアクセスされるインデックスデータですらページキャッシュから破棄されてしまい大幅なI/O性能の劣化を招いていることや，ファイル統合処理(autocompaction)による大規模なシーケンシャルアクセスが行われているにもかかわらずI/OスケジューラがシーケンシャルI/O処理を適切に処理していないことなどが原因で性能が劣化していることを確認した．
最後に，本研究で明らかにした性能劣化原因に対応して大幅な規模伸縮性の向上を行った．具体的には，インデックスデータの明示的なキャッシュ格納処理や，I/Oスケジューラのlow latency処理の最適化により，ノード追加削除時間の大幅な短縮と，ノード追加削除中のKVSトランザクション性能の低下の大幅な抑制を実現した．
|
-
-
[Presentation] Advising cache for lower cache.2017
Author(s)
Yoshida Kotaro, Saneyasu Yamaguchi
Organizer
ACM IMCOM 2017: International Conference on Ubiquitous Information Management and Communication
Place of Presentation
別府
Year and Date
2017-01-06 – 2017-01-06
Int'l Joint Research
-
-
-
-
-
-
[Presentation] Fast Application Identification Based on DPI N-gram2016
Author(s)
Masaki Hara, Shinnosuke Nirasawa, Akihiro Nakao, Masato Oguchi, Shu Yamamoto, Saneyasu Yamaguchi
Organizer
2016 IEEE 17th International Conference on High Performance Switching and Routing, Workshop
Place of Presentation
日吉
Year and Date
2016-06-16 – 2016-06-16
Int'l Joint Research
-
-
-
-
