メニーコア搭載スーパーコンピュータ上での超大規模グラフ処理のメモリ階層最適化基盤
| Project/Area Number |
14J11503
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
High performance computing
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
白幡 晃一 東京工業大学, 大学院情報理工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2014
|
| Project Status |
Completed (Fiscal Year 2014)
|
| Budget Amount *help |
¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2014: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | GPU / 大規模グラフ処理 / Map Reduce / メモリ処理 / スーパーコンピューター |
|---|
| Outline of Annual Research Achievements |
SNS解析、道路ネットワーク、スマートグリッド、創薬、遺伝子解析等多くの分野で超大規模グラフに対する高速処理が求められている。普及が進みつつあるメニーコアを搭載したスーパーコンピュータを想定し、超大規模グラフ処理における階層的なメモリ管理技術の提案を行った。メニーコア上のメモリに載り切らないデータを効率的に処理するため、分散・多階層メモリを抽象化可能なMapReduceモデルを想定し、CPUからメニーコアに対して自動的にグラフデータを分割しながら、メニーコア上での計算とCPU・メニーコア間の転送を最大限にオーバーラップさせる手法を提案した。TSUBAME2.5の1024ノード(12288CPUコア、3072GPU)上での評価において、3072GPUのメモリ容量を超えるグラフデータ(172億頂点、2749億枝)を、CPU上での実行に対して2.10倍の高速化(毎秒28億枝)を確認した。また、GPU搭載スーパーコンピュータ上でのMapReduce処理に利用可能な大規模GPU分散ソートを提案し、CPU上での実行に対して1.40倍の高速化を確認した。さらに、MapReduce型大規模データ処理の特性をより詳細に把握するため、メタゲノム相同性検索アプリケーションを種々のMapReduce処理系に実装し、我々の処理系が代表的な既存のMapReduce処理系に対して4.54倍の性能を確認した。別の分散メモリの仮想化方法としてAPGASプログラミング言語X10を用いた場合のGPUの使用による効果の検証も行い、格子QCDアプリケーションを用いた32GPU上での実験においてCPU上での実行に対して11.0倍の高速化を確認した。最重要カーネルの一つである超大規模グラフ処理に対して多階層メモリを活用する基盤技術の提案・開発によりエクストリーム・ビッグデータ処理に向けた要素技術の実現に貢献した。
|
| Research Progress Status |
本研究課題は平成27年度の交付申請を辞退するため、記入しない。
|
| Strategy for Future Research Activity |
本研究課題は平成27年度の交付申請を辞退するため、記入しない。
|
Report
(1 results)
Research Products
(9 results)
-
-
-
-
-
-
-
-
-
[Presentation] Porting MPI based HPC Applications to X102014
Author(s)
Hideki Murata, Michihiro Horie, Koichi Shirahata, Jun Doi, Hideki Tai, Mikio Takeuchi, Kiyokuni Kawachiya
Organizer
The 2014 X10 Workshop (X10'14) co-located with PLDI'14
Place of Presentation
アッセンブリールーム (イギリス スコットランド エジンバラ)
Year and Date
2014-06-12
Related Report
