分散メモリ型並列スーパーコンピュータにおけるメモリ管理

1995 Fiscal Year Annual Research Report

• Project/Area Number: 07780256
• Research Institution: Kyoto University
• Principal Investigator: 岡部 寿男 京都大学, 大型計算機センター, 助教授 (20204018)
• Keywords: 分散メモリ / スーパーコンピュータ / 並列化コンパイラ / メモリ管理 / ベクトル計算機 / 数値計算 / NUMA(non-uniform memory access) / HPF(High Performance Fortran)

Research Abstract

ローカルメモリを有するベクトルプロセッサが結合網で接続された分散メモリ型並列ベクトルスーパーコンピュータにおいて、グローバルなアドレス空間を言語処理系により仮想的に提供することにより、共有メモリ型並列計算機と同じプログラミングモデルでの並列プログラミイグを可能にするためのメモリ管理方式の研究を行った。
まず従来のプログラム資産、特にFortranで書かれた汎用性の高いライブラリを本方式で効率よく扱うための検討を行った。具体的には数値計算ライブラリとして広く用いられているLAPACKのコードを解析し、分散メモリ型計算機への対応させるためにはBLAS(Basic Linear Algebra Subroutines)のレベルでだけある程度分散メモリを意識したコーティングを行えば、それより上のレベルでは従来のコードがそのまま利用できることを示し、そのためのインターフェースを提案した。
次に、複数のプロセッサ間での一配列の異なる要素への独立の書き込みによる同期と排他制御が不要となるようなメモリ管理モデルを設計した。前提としているベクトル計算機では、プログラムの最内側部分のループで配列のある特定の次元方向に沿っての計算をベクトル化することが高性能を得るための条件である。すなわち、配列のメモリへの分割をベクトル化の方向と直交するようにとればよい。ベクトル演算の参照方向が変化する場合には、データの分割を変化させる必要がある。本研究では対象となる配列データの再配置を行うことにより対処することにした。このコストは対象とする計算機のネットワークトポロジと通信バンド幅によっては無視できないが、われわれが性能評価を行ったVPP500システムの上では、比較的転送の多く発生するケースでも通信コストと演算コストがほぼ同じ程度であった。
以上の考察に基づき、現在Fortran90のサブセットからVPP Fortranヘソースコードレベルで変換するプリプロセッサを開発している。課題としては、通信と演算を非同期的に行うことによる重ね合わせと、参照方向の切り替えのために配列のためのメモリ容量の削減のための方法の検討が必要である。

Research Products

• [Publications] 依田邦和,岡部寿男,金澤正憲: "分散合意のための1-ビットメッセージ最適早期停止アルゴリズム" 情報処理学会研究報告. 95-AL-47. 33-40 (1995)
• [Publications] 岡部寿男: "VPP500上での線形計算ライブラリの評価" 京都大学大型計算機センター研究開発部研究発表報告集. 11. (1996)