2019 Fiscal Year Annual Research Report
再構成可能システムとGPUによる複合型高性能計算プラットフォーム
| Project/Area Number |
18H03246
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
朴 泰祐 筑波大学, 計算科学研究センター, 教授 (90209346)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐野 健太郎 国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (00323048)
塙 敏博 東京大学, 情報基盤センター, 准教授 (30308283)
山口 佳樹 筑波大学, システム情報系, 准教授 (30373377)
天野 英晴 慶應義塾大学, 理工学部(矢上), 教授 (60175932)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | FPGA / GPU / 高性能計算 / 高位合成 / 高速シリアル通信 / 多重複合演算加速 |
|---|
| Outline of Annual Research Achievements |
◎FPGAとGPUを連携させた多重複合型演算加速ノード上で、OpenCLを用いたユーザレベルでのFPGA間通信機構を実装し、ノード内では多重複合演算加速のコンセプトの実現のため、GPUとFPGAをPCIeバス上でDMA通信させる機構をCPUの援助なしにFPGAから能動的に実行するシステムを開発した。これらにより、ノード内でGPUとFPGAの協調計算で宇宙輻射輸送シミュレーションを実行することに成功した。
◎FPGAをスイッチと演算の両者に用い、総合的な並列演算加速ベンチマーキングを行うために、PCIeにXilinx社KCU1500ボードを接続し、そこに統合設計環境SDAccelを実装した。このボード上で演算加速を行うと共に、シリアルリンクを用いてマルチFPGAシステムFiCと接続する環境を構築した。
◎高バンド幅メモリを持つFPGAの活用に向けて、Stratix10 MX FPGAでOpenCLを使ったアプリケーション開発について検討した。併せて、FPGA上でOpenCLを用いて可変精度での演算を実現する方法について検討した。
◎提案するFPGA基盤構想に基づく基板設計および基板製造が終了し、製造した同基板をSC’19にて展示した。また、同基板を想定した隣接ノードとの高速通信における設計効率化とそこで生ずるメモリアクセス問題などについて代替基板によって研究発表を行った。
◎複数FPGAによる高性能計算の実現に向けて、FPGA間通信のフロー制御を実現するフローコントローラモジュールを開発した。リング状に接続した複数のStratix10 FPGAで津波シミュレーションや多体問題のストリーム計算性能を向上でき、その評価を行った。また、直接網と間接網を組み合わせたハイブリッド通信の評価を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
◎FPGAとGPUを連携させた多重複合型演算加速ノード上で、OpenCLを用いたユーザレベルでのFPGA間通信機構CIRCUSを最大64台のFPGA間で動作させ理論ピーク性能の90%の通信性能達成、一方ノード内でGPUとFPGAの協調計算で宇宙輻射輸送シミュレーションを、GPUのみの場合の最大17倍まで加速することに成功した。
◎開発システムは稼働し、高速シリアル転送とSDAccelによる加速の両方を実現できたが、FPGAの能力の限界によりアクセラレーション自体はさほど性能向上を得られなかった。
◎HBM2を搭載したFPGAにおいて、OpenCLを用いて高バンド幅を実現する記述方法について評価を行った。さらに、行列積を用いて、倍精度、単精度、半精度における性能と資源量を評価した。
◎100Gbps x 12本の高速光シリアル通信、PCIe Gen3、およびストレージ（SATA x 128個）を備えたFPGA基板を製造し、電気試験を開始した。この試験が完了した入出力より、同基板上のFPGA上の回路設計を進めている。また、代替基板上で入出力制御やそれを利用した演算実装に関する試験も実施した。
◎リングトポロジの直接網で接続したFPGAクラスタ試作機が動作するようになり、データフロー計算を評価できた。問題に適合した数値フォーマットによる計算に関しては、引き続きデータフローコンパイラを拡張中である。
|
| Strategy for Future Research Activity |
◎FPGA間通信機構CIRCUSと宇宙輻射輸送アプリケーションを筑波大学計算科学研究センターで稼働中のGPU+FPGAを搭載したCygnusスーパーコンピュータ上で稼働させ性能評価することで、多重複合演算加速システムの性能を実証していく。
◎本年度の結果を踏まえ、強力なシリアルリンクと、ホストとの密接続を合わせ持つ新しいボードM-KUBOSを用いて、他のアクセラレータとの交信とFPGA内での演算の両立を図る。
◎宇宙物理のN体計算を中心に、OpenCLによる可変精度を考慮に入れた演算オフローディングの検討を進める。
◎25Gbpsの高速シリアルI/Oを大量に含み、かつクロックドメインの異なる回路設計は難しい。COVID-19の影響で提案システムの一部機材の納入が2020年夏など遅れは見られるが、これまでの設計資産と組み合わせ性能評価およびベンチマーク試験などを実施する。
◎直接網ではなく間接網による通信性能、および並列計算性能の評価を行う。また、引き続きデータフローコンパイラの拡張を行う。
|
