2018 Fiscal Year Research-status Report
メニーノード多階層メモリを統合する高汎用メモリシステムの研究
| Project/Area Number |
18K11327
|
|---|
| Research Institution | Seikei University |
|---|
Principal Investigator |
緑川 博子 成蹊大学, 理工学部, 助教 (00190687)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | メモリ / クラスタ / 分散共有メモリシステム / マルチノード並列処理 / マルチコア並列処理 / PGAS / 遠隔メモリ |
|---|
| Outline of Annual Research Achievements |
2018年度は，マルチノードにおける高性能，高生産性メモリランタイムシステムｍSMSについて，重点的に研究を推進した．ｍSMSに，あらたに高性能通信機構とpreload関数（事前にアクセス領域が既知の処理向け）を開発した．東工大Tsubame3.0スパコンの180ノード（9900コア）を利用した実験では，各ノードに約130GiBのデータを分散配置し，全体として23TiBの大域共有データを定義，約30TiBの仮想アドレス空間を持つプロセスを，各ノードで稼働させて，大規模な共有メモリデータプログラミング環境を実現した．通信が頻繁な単純ステンシル計算では，preload機能により，MPIに匹敵する（あるいはMPI以上の）性能がｍSMSにより得られた．通信頻度を低減した時間プロッキングステンシル計算では，129ノード未満システムで，preload利用有無によらず，MPIプログラムと同等レベルの性能が得られた．
さらに，OpenMP，OpenACCと同様な，マルチノード並列処理向けのディレクティブベースのAPI，SMintを新たに開発した．SMintは，OpenMPやOpenACCとの併用可能で，逐次プログラムからインクリメンタルに，マルチコア，マルチノード並列化を容易に行える．マルチノード並列セクションとデータ分散配置を利用し，マルチノードにおける同期的並列処理の記述をきわめて容易にした．また実装関数として，新たに高効率の遠隔データキャッシングを行う関数群を開発した．
一方，配列の同期的処理にとどまらず，マルチノードに分散された大域データをポインタアクセスする応用として，多体問題むけBarnes-HutアルゴリズムをmSMSに実装し，初期評価を行った．大域データツリー生成と走査が繰り返される処理において，遠隔データへのシームレスなポインタアクセスが可能なｍSMSの高生産性を示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題の２つの柱のうち，マルチノードを利用した大規模並列処理向けの研究（水平方向メモリ利用）については，実装システムの高性能化，高生産性プログラミングのためのAPIの開発，性能評価などの面で，進んでいる．
一方，１つの計算ノード内に，着目した多階層メモリの利用(垂直方向メモリ利用）については，当初．購入を予定していた新規不揮発性メモリ（intel 3D XPointメモリDIMM）開発が遅れており，これを搭載したサーバ利用による研究ができない状況にあった．
|
| Strategy for Future Research Activity |
2018年度に購入を予定した物品費を2019年度に残し，新規不揮発性メモリ（intel 3D XPointメモリDIMM）が利用可能になった時点で，当初，予定していた多種多階層なメモリ階層における効率的なアルゴリズムやアクセス方式を研究開発が可能ならば，それを進めていく．
2019年5月現在，上記不揮発性メモリ（intel optane DC)を搭載したサーバを日本でも購入可能な状況になりつつあるが，納入業者によると，廉価システムであっても，価格的に150万円ほどで，予算的に，購入するのは，むずかしい．今後，性能動作が安定し，価格が下がる状況になれば，検討の余地があるが，Cornel大学Swanson教授らから送られてきた基本性能調査によると，DRAMに比べ非常に速いわけではないということがわかっており，価格と動作性能の安定の動向をみながら，購入するか否かを検討する予定である．
このため，2019年度は，上記のメモリ階層を利用した垂直方向の高速化とは別の，マルチノード利用における水平方向の高速化に関して重点的に進める．すでに，典型的処理であるステンシル計算において，大規模ノード（180ノード）での典型的処理ステンシル計算において，ソフトウエア共有分散メモリｍSMSをランタイムとして用い，グローバルビューモデルによるプログラミング環境を提供しつつ，MPIと同等以上の性能を得られることを示した．
さらにいくつかのAPIを構築しており，この中のディレクティブベースのAPIであるSMintと，既存のPGASとの比較を行う．比較に用いるのは，C 言語をベースとするXcalableMPとUPCで，プログラム記述性と性能について比較する．
またｍSMSのようなシステムにおいて，さらに高性能な遠隔データ通信を実現のため，最新MPI3における片側通信性能の性能調査を行い，実装方式を検討する．
|
| Causes of Carryover |
当初の研究計画では，2018年度に出荷予定であった新規不揮発性メモリであるintel 3D XPointメモリDIMMを搭載したサーバを購入して，実験を行う予定で，このサーバ購入費として200万円を申請していた．本研究申請時には，2018年には，3D XPointメモリDIMMを搭載サーバが出荷されると発表されていたが，実際には開発が遅れ，2018年度末時点でも，購入が不可能であった．このため，本実験が可能かどうかを見極めるため，2018年度の物品費は2019年度に残すようにした．しかし，本科研費交付額は，2018年度物品費が申請時の200万円から90万円にまで減額されており，事実上，新規メモリデバイスを搭載したサーバを購入するのは，難しい状況になっている．（2019年５月時点で販売が開始されつつあるが，最廉価でも150万円程度）
このため２つの研究の柱のうち，他方のマルチノード並列処理高速化のためのテーマを推進した．分散共有メモリmSMSの新規APIの設計と実装，通信機構改良を行った．ソフトウエア開発量が多いため，一部を外部プログラマの力を借りる必要があり，人件費が増えている．出張費に関しては，可能な限り科研費以外の資金にから国内出張費を支出し，海外出張費に関しても，2018年度は，全体支出を抑えるため海外発表をとりやめた．
|
-
-
-
[Presentation] mSMS: A New DSM System for HPC2018
Author(s)
Hiroko Midorikawa
Organizer
The International Conference for High Performance Computing, Networking, Storage, and Analysis 2018 (SC18), SC18 Tokyo Inst. of Tech. Booth-Poster
Int'l Joint Research
-
