• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

多重複合演算加速機構を用いた次世代スーパーコンピューティング

研究課題

研究課題/領域番号 21H04869
研究機関筑波大学

研究代表者

朴 泰祐  筑波大学, 計算科学研究センター, 教授 (90209346)

研究分担者 佐野 健太郎  国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (00323048)
山口 佳樹  筑波大学, システム情報系, 准教授 (30373377)
小林 諒平  筑波大学, 計算科学研究センター, 助教 (40783709)
佐藤 三久  国立研究開発法人理化学研究所, 計算科学研究センター, 副センター長 (60333481)
藤田 典久  筑波大学, 計算科学研究センター, 助教 (70787671)
辻 美和子  国立研究開発法人理化学研究所, 計算科学研究センター, 研究員 (80466466)
研究期間 (年度) 2021-04-05 – 2025-03-31
キーワード複合演算加速環境 / FPGA高位合成 / OpenACC / Ethernet Frame / HBMメモリ
研究実績の概要

複数の演算加速機構としてGPUとFPGAの両者を用いた次世代スーパーコンピューティングのプラットフォーム、言語処理系、並列FPGA処理技術、アプリケーション実行、FPGAストレージに関する総合的な研究を実施した。
GPUとFPGAの統合プログラミング環境として、OpenACC単一言語(C言語実装)で記述したコードを商用または研究用デバイスコンパイラをバックエンドとして呼び出すメタコンパイラのプロトタイプ実装により、宇宙物理の実アプリケーションコードをGPUのみの演算加速に比べ、最大で10倍高速化することに成功した。また、HBMを搭載したFPGAにおける高性能アプリケーション実行APIのプロトタイプ開発を行った。FPGA間通信網については、これをEthernet Frameでデータストリーム処理する環境を構築した。また、FPGAをコントローラとしてSSDを高速かつ柔軟に制御するシステム等の研究開発を行った。
これらの成果として10編の査読付き学術論文の公表と、12件の国際会議発表(うち5件は招待講演)を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

FPGAとGPUの複合デバイスプログラミング環境として、米国ORNLで開発中のFPGA対応OpenACC研究用コンパイラであるOpenARCと、GPU対応OpenACC商用コンパイラであるPGI社コンパイラを両デバイスのバックエンドコンパイラとして用いるメタコンパイラMHOATをプロトタイプ実装し、一般的なHPCコードにおける記述量と性能のトレードオフを明らかにした。また、宇宙物理学の実アプリケーションであるARGOTコードをMHOATでコンパイルし、GPUとFPGAを搭載する単一ノード上で、GPUだけの計算に比べFPGAを追加投入することで最大10倍の性能向上を達成し、当初予定の実績を達成した。(朴・佐藤・辻チーム)
Ethernet Frameを用いてデータストリームをFPGA間で送受信する回路、および通信網に対しデータストリームを送受信するHLSのプログラミング環境の実装が進んでいることから、計画通りに進捗している。(佐野チーム)
ユーザ回路における利用性を高めるためオープンソースの LiteX を用いた実装へと拡張した。また,基板の改版も進め,ストレージを32台まで接続できるようになり、当初予定を達成した。(山口チーム)
ノードを跨ぐGPU+FPGA連携宇宙物理アプリケーションコードの演算加速の性能評価を実施した.また,GPU+FPGA連携宇宙物理アプリケーションコードを1ノード実行から2ノード実行に拡張し,その性能評価を実施した。これらを支援する通信環境として、MPIにおける集団通信と同等の機能を、独自開発のFPGA間通信フレームワークCIRCUSに実装し、FPGA間並列通信に関する研究を計画どおり推進した。(小林・藤田チーム)

今後の研究の推進方策

GPU・FPGA混載ノードにおける宇宙物理コードARGOTのノード間並列化を推進する。GPU間通信はFPGAに依存するよりもホスト側のInfiniBandを用いた方が効率が高いが、FPGA間通信は独自開発フレームワークであるCIRCUSを用いることで、通信オーバヘッドを極限まで減らすことができる見込みである。また、CIRCUS上に通信フロー制御とエラーチェック機構を組み込み、実アプリケーションでのユーザの利便性を向上させる。(朴・藤田チーム)
FPGA間通信機構をEthernet Frameで実現することにより、Ethernetスイッチを用いた大規模化が容易となることを実アプリケーションコードで評価する。複数FPGAによる並列化とその通信をCIRCUSによるものとEthernetスイッチによるもので比較し、FPGA間通信網に関する研究をまとめる。(佐野チーム)
FPGA制御によるSSDの利用効率を一層高めるとともに、実アプリケーションの実装を通した評価を進め、FPGAをSSDのインテリジェントコントローラとして完成することを目指す。(山口チーム)
FPGA向けOpenACCコンパイラを、OpenARCだけに頼るのではなく、独自開発のバックエンドコンパイラとして実装し、FPGA特有の性能最適化に関する手法の開発を進める。(佐藤・辻・朴チーム)
FPGA間通信システムCIRCUSの運用上の実用性を高め、各種アプリケーションで利用可能とするための集団通信ライブラリの完成を目指すと共に、フロー制御の実装によるCIRCUSの実用化を目指す。(藤田チーム)

  • 研究成果

    (35件)

すべて 2023 2022 その他

すべて 国際共同研究 (1件) 雑誌論文 (16件) (うち査読あり 10件、 オープンアクセス 3件) 学会発表 (18件) (うち国際学会 12件、 招待講演 6件)

  • [国際共同研究] Oak Ridge National Laboratory(米国)

    • 国名
      米国
    • 外国機関名
      Oak Ridge National Laboratory
  • [雑誌論文] VCSN: Virtual Circuit-Switching Network for Flexible and Simple-to-Operate Communication in HPC FPGA Cluster2023

    • 著者名/発表者名
      Ueno Tomohiro、Sano Kentaro
    • 雑誌名

      ACM Transactions on Reconfigurable Technology and Systems

      巻: 16 ページ: 1~32

    • DOI

      10.1145/3579848

    • 査読あり
  • [雑誌論文] A Scalable Many-core Overlay Architecture on an HBM2-enabled Multi-Die FPGA2023

    • 著者名/発表者名
      Abdelhamid Riadh Ben、Yamaguchi Yoshiki、Boku Taisuke
    • 雑誌名

      ACM Transactions on Reconfigurable Technology and Systems

      巻: 16 ページ: 1~33

    • DOI

      10.1145/3547657

    • 査読あり / オープンアクセス
  • [雑誌論文] Accelerating Radiative Transfer Simulation on NVIDIA GPUs with OpenACC2023

    • 著者名/発表者名
      Kobayashi Ryohei、Fujita Norihisa、Yamaguchi Yoshiki、Boku Taisuke、Yoshikawa Kohji、Abe Makito、Umemura Masayuki
    • 雑誌名

      PDCAT 2022: Parallel and Distributed Computing, Applications and Technologies

      巻: 13798 ページ: 344~358

    • DOI

      10.1007/978-3-031-29927-8_27

    • 査読あり
  • [雑誌論文] GPU-FPGA-accelerated Radiative Transfer Simulation with Inter-FPGA Communication2023

    • 著者名/発表者名
      Kobayashi Ryohei、Fujita Norihisa、Yamaguchi Yoshiki、Boku Taisuke、Yoshikawa Kohji、Abe Makito、Umemura Masayuki
    • 雑誌名

      HPC Asia '23: Proceedings of the International Conference on High Performance Computing in Asia-Pacific Region

      巻: - ページ: 117-125

    • DOI

      10.1145/3578178.3578231

    • 査読あり / オープンアクセス
  • [雑誌論文] Implementation and Performance Evaluation of Collective Communications Using CIRCUS on Multiple FPGAs2023

    • 著者名/発表者名
      Kikuchi Kohei、Fujita Norihisa、Kobayashi Ryohei、Boku Taisuke
    • 雑誌名

      HPC Asia '23: Proceedings of the International Conference on High Performance Computing in Asia-Pacific Region

      巻: - ページ: 15-23

    • DOI

      10.1145/3581576.3581602

    • 査読あり
  • [雑誌論文] FPGAクラスタESSPERにおけるFPGA間通信速度の予備評価2023

    • 著者名/発表者名
      境 琳太郎, 中原 康宏, 佐野 健太郎, 飯田 全広
    • 雑誌名

      電子情報通信学会リコンフィギャラブルシステム研究会 信学技法

      巻: 122(60) ページ: 48-49

  • [雑誌論文] FPGA-Dedicated Network vs. Server Network for Pipelined Computing with Multiple FPGAs2022

    • 著者名/発表者名
      Ueno Tomohiro、Miyajima Takaaki、Sano Kentaro
    • 雑誌名

      Proceedings of International Symposium on Highly-Efficient Accelerators and Reconfigurable Technologies (HEART)

      巻: - ページ: 90-91

    • DOI

      10.1145/3535044.3535057

    • 査読あり
  • [雑誌論文] Packed SIMD Vectorization of the DRAGON2-CB2022

    • 著者名/発表者名
      Abdelhamid Riadh Ben、Yamaguchi Yoshiki
    • 雑誌名

      2022 IEEE 15th International Symposium on Embedded Multicore/Many-core Systems-on-Chip (MCSoC)

      巻: - ページ: 85-92

    • DOI

      10.1109/MCSoC57363.2022.00023

    • 査読あり
  • [雑誌論文] Performance Evaluation on GPU-FPGA Accelerated Computing Considering Interconnections between Accelerators2022

    • 著者名/発表者名
      Sano Yuka、Kobayashi Ryohei、Fujita Norihisa、Boku Taisuke
    • 雑誌名

      The Proceedings of the 12th International Symposium on Highly Efficient Accelerators and Reconfigurable Technologies (HEART 2022)

      巻: - ページ: 10-16

    • DOI

      10.1145/3535044.3535046

    • 査読あり / オープンアクセス
  • [雑誌論文] Design and Performance Evaluation of UCX for Tofu-D Interconnect with OpenSHMEM-UCX on Fugaku2022

    • 著者名/発表者名
      Watanabe Yutaka、Sato Mitsuhisa、Tsuji Miwako、Murai Hitoshi、Boku Taisuke
    • 雑誌名

      2022 IEEE/ACM Parallel Applications Workshop: Alternatives To MPI+X (PAW-ATM)

      巻: - ページ: 52-61

    • DOI

      10.1109/PAW-ATM56565.2022.00010

    • 査読あり
  • [雑誌論文] マルチFPGAシステムの高位合成シミュレーション手法に関する検討2022

    • 著者名/発表者名
      池原 陽大, 本吉 圭吾, 福田 航生, 眞邉 泰斗, 柴田 裕一郎, 上野 知洋, 佐野 健太郎
    • 雑誌名

      電子情報通信学会リコンフィギャラブルシステム研究会 信学技法

      巻: 122(286) ページ: 67-71

  • [雑誌論文] 並列化に伴うデータ空間の分割とそれによるアクセスパターンの変化がもたらすHBMの振る舞い調査2022

    • 著者名/発表者名
      瀬口知洋, 中井榛希, 山口佳樹, 藤田典久, 小林諒平, 朴泰祐
    • 雑誌名

      電子通信情報学会技術報告(信学技法)

      巻: 122(133, CPSY) ページ: 83-88

  • [雑誌論文] GPU・FPGA複合型演算加速クラスタを用いた宇宙輻射輸送コードARGOTの多ノード並列化2022

    • 著者名/発表者名
      小林 諒平, 藤田 典久, 山口 佳樹, 朴 泰祐, 吉川 耕司, 安部 牧人, 梅村 雅之
    • 雑誌名

      研究報告ハイパフォーマンスコンピューティング(HPC)

      巻: 2022-HPC-185(1) ページ: 1-6

  • [雑誌論文] ノードを跨いだGPU・FPGA複合型演算加速による宇宙物理シミュレーションの実装と評価2022

    • 著者名/発表者名
      佐野 由佳, 小林 諒平, 藤田 典久, 朴 泰祐
    • 雑誌名

      研究報告ハイパフォーマンスコンピューティング(HPC)

      巻: 2022-HPC-184(6) ページ: 1-7

  • [雑誌論文] Implementation and Performance Evaluation of Memory System using Addressable Cache for HPC Applications on HBM2 equipped FPGAs,2022

    • 著者名/発表者名
      Norihisa Fujita, Ryohei Kobayashi, Yoshiki Yaamaguchi, Taisuke Boku
    • 雑誌名

      20th International Workshop for Algorithms, Models, and Tools for Parallel Computing on Heterogeneous Platforms (HeteroPar 2022),

      巻: - ページ: 1-12

    • 査読あり
  • [雑誌論文] 並列 FPGA 環境における通信システム CIRCUS を用いた集団通信の実装と性能評価2022

    • 著者名/発表者名
      菊池 航平, 藤田 典久, 小林 諒平, 朴 泰祐
    • 雑誌名

      研究報告ハイパフォーマンスコンピューティング(HPC)

      巻: 2022-HPC-187(7) ページ: 1-8

  • [学会発表] GPU-FPGA-accelerated Radiative Transfer Simulation with Inter-FPGA Communication2023

    • 著者名/発表者名
      Ryohei Kobayashi
    • 学会等名
      International Conference on High Performance Computing in Asia-Pacific Region (HPC Asia)
    • 国際学会
  • [学会発表] NVIDIA H100を搭載した最新スーパーコンピュータPegasusが拓くHPC&AI2023

    • 著者名/発表者名
      朴 泰祐
    • 学会等名
      NVIDIA GTC2023
    • 招待講演
  • [学会発表] FPGA-Dedicated Network vs. Server Network for Pipelined Computing with Multiple FPGAs2022

    • 著者名/発表者名
      Tomohiro Ueno
    • 学会等名
      International Symposium on Highly-Efficient Accelerators and Reconfigurable Technologies (HEART)
    • 国際学会
  • [学会発表] FPGAクラスタESSPERにおけるFPGA間通信速度の予備評価2022

    • 著者名/発表者名
      境 琳太郎
    • 学会等名
      電子情報通信学会リコンフィギャラブルシステム研究会
  • [学会発表] マルチFPGAシステムの高位合成シミュレーション手法に関する検討2022

    • 著者名/発表者名
      池原 陽大
    • 学会等名
      電子情報通信学会リコンフィギャラブルシステム研究会
  • [学会発表] Accelerating Radiative Transfer Simulation on NVIDIA GPUs with OpenACC2022

    • 著者名/発表者名
      Ryohei Kobayashi
    • 学会等名
      PDCAT 2022: Parallel and Distributed Computing, Applications and Technologies
    • 国際学会
  • [学会発表] GPU・FPGA複合型演算加速クラスタを用いた宇宙輻射輸送コードARGOTの多ノード並列化2022

    • 著者名/発表者名
      小林 諒平
    • 学会等名
      第185回ハイパフォーマンスコンピューティング研究発表会
  • [学会発表] Performance Evaluation on GPU-FPGA Accelerated Computing Considering Interconnections between Accelerators2022

    • 著者名/発表者名
      Yuka Sano
    • 学会等名
      International Symposium on Highly Efficient Accelerators and Reconfigurable Technologies (HEART)
    • 国際学会
  • [学会発表] ノードを跨いだGPU・FPGA複合型演算加速による宇宙物理シミュレーションの実装と評価2022

    • 著者名/発表者名
      佐野 由佳
    • 学会等名
      第184回ハイパフォーマンスコンピューティング研究発表会
  • [学会発表] Design and Performance Evaluation of UCX for Tofu-D Interconnect with OpenSHMEM-UCX on Fugaku2022

    • 著者名/発表者名
      Yutaka Watanabe
    • 学会等名
      2022 IEEE/ACM Parallel Applications Workshop: Alternatives To MPI+X (PAW-ATM)
    • 国際学会
  • [学会発表] Implementation and Performance Evaluation of Collective Communications Using CIRCUS on Multiple FPGAs2022

    • 著者名/発表者名
      Kohei Kikuchi
    • 学会等名
      International Conference on High Performance Computing in Asia-Pacific Region (HPC Asia)
    • 国際学会
  • [学会発表] Implementation and Performance Evaluation of Memory System using Addressable Cache for HPC Applications on HBM2 equipped FPGAs,2022

    • 著者名/発表者名
      Norihisa Fujita
    • 学会等名
      20th International Workshop for Algorithms, Models, and Tools for Parallel Computing on Heterogeneous Platforms (HeteroPar 2022),
    • 国際学会
  • [学会発表] 並列 FPGA 環境における通信システム CIRCUS を用いた集団通信の実装と性能評価2022

    • 著者名/発表者名
      菊池 航平
    • 学会等名
      第187回ハイパフォーマンスコンピューティング研究発表会
  • [学会発表] Multi-Hetero Accelerated Computing ~ Challenge toward Extreme Heterogeneity2022

    • 著者名/発表者名
      Taisuke Boku
    • 学会等名
      Int. Workshop ExHET2022 (in Int. Conf. PPoPP2022)
    • 国際学会 / 招待講演
  • [学会発表] How FPGA can contribute to HPC ?2022

    • 著者名/発表者名
      Taisuke Boku
    • 学会等名
      VLSI-DAT2022 Symposium
    • 国際学会 / 招待講演
  • [学会発表] HPC/BD/AI Supported by Big Memory Supercomputer2022

    • 著者名/発表者名
      Taisuke Boku
    • 学会等名
      Int. Workshop on EMC2-2022
    • 国際学会 / 招待講演
  • [学会発表] Cygnus-BD: the Big Memory Supercomputer for HPC, Big Data and AI2022

    • 著者名/発表者名
      Taisuke Boku
    • 学会等名
      2022 MVAPICH Users Group Workshop
    • 国際学会 / 招待講演
  • [学会発表] How FPGA can compensate with High Performance Computing ?2022

    • 著者名/発表者名
      Taisuke Boku
    • 学会等名
      Int. Conf. FPT2022
    • 国際学会 / 招待講演

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi