2016 Fiscal Year Annual Research Report
ノードローカルな不揮発性メモリを考慮した大規模動的グラフ向けグラフストア基盤
| Project/Area Number |
16J00317
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
岩渕 圭太 東京工業大学, 大学院情報理工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2016-04-22 – 2018-03-31
|
| Keywords | ビッグデータ / グラフ / 不揮発性メモリ |
|---|
| Outline of Annual Research Achievements |
実世界のグラフでは頂点や辺の追加・削除によって頻繁にグラフ構造が変化する動的グラフが多数存在し、さらに、オープンデータ化やIoT(Internet of Things)の発展等でデータ量は爆発的に増加し、膨大な量のデータに対するリアルタイム性を持った処理へのサポートが求められる。そのため、本課題では、1)超大規模な動的グラフに対して、高速な頂点や辺の追加や削除が可能、且つ探索・解析時において静的なデータ構造に匹敵するメモリアクセス効率の高いコンパクトな動的グラフ向けのデータ構造の設計・実装を行う。次に、１）を分散メモリへ拡張し、２）ノードローカルな不揮発性メモリ（NVRAM）を備えた分散メモリ環境における動的なグラフ保持の定量・定性的な指標を明らかにする。そして、上記１）、２）から得られた成果を用いて、３）動的な負荷分散に対応した超大規模動的グラフ向けのグラフデータストア基盤を構築する。当該年度は計画通り米国のローレンスリバモア国立研究所と共同にて、大規模動的グラフ解析向けのグラフデータストアについて下記の通り研究を行った。
提案グラフストア（DegAwareRHH）の概要
１）ノードローカルな動的グラフ向けデータ構造として、空間的局所性と逐次的局所性の高いハッシュテーブルを用いることで、動的に要素（辺や頂点）をインデックス付きで追加することを可能としながらキャッシュミスやページフォルトの回数を最小限に留めることができ、高速な頂点や辺の追加や削除が可能、且つグラフ解析時において密なデータ構造に匹敵する高いメモリアクセス効率性を持った動的グラフ向けのデータ構造を提案した。２）分散メモリ環境への拡張のために、非同期型のコミュニケーションフレームワークを用いることで、分散メモリ環境にてグローバルな同期を省き局所的な更新処理を可能にすることで、高いスケーラビリティを実現した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は動的グラフ向けのデータ構造の設計・実装を行い、分散メモリ環境への拡張まで行うことができた。さらに、具体的な分散メモリ環境における大規模動的グラフアルゴリズムを対象として評価を行うことで、動的なグラフの構築だけでなくリアルタイムなグラフの解析においても高い性能を示すことが確認でき、また、次世代不揮発性メモリを想定したエミュレーターを用いた性能評価ではDRAMのみを用いた場合に対してその性能低下を最小限に留めることができ、綿密な性能評価実験を通して提案グラフストアの高い有用性の確認している。よって、進捗状況としておおむね順調に進展していると判断する。
|
| Strategy for Future Research Activity |
本年度は当初の計画より、分散メモリへの対応や他のプロジェクトとの共同研究を優先したため、比較的DRAMのみを用いた場合に注力した。よって、来年度は以下の点について注力する予定である。
１）DRAM-NVRAM間及び計算ノード間のデータ移動量の最小化モデル
ノードローカルなNVRAMを備えた分散メモリ環境において、どのように動的グラフを分散して保持をするのか、実アプリケーションやアルゴリズムのメモリアクセスパターン、NVRAMやネットワークの性能（レイテンシやバンド幅）を考慮し性能モデルを構築する。
２）分散メモリ環境における動的な負荷分散
１）から得られた成果、さらには、DRAM-NVRAM間のI/O処理やネットワーク上でのデータ転送の最適化、動的グラフ向けのグラフの分割手法等を用いて、ノードローカルなNVRAMを持った分散メモリ環境における動的な負荷分散を可能とする。
なお、引き続き米国のローレンスリバモア国立研究所と共同にて研究を行い、次世代不揮発性メモリを考慮したシステムソフトウェアとの連携も行っていく予定である。
|
