• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

多重複合演算加速機構を用いた次世代スーパーコンピューティング

Research Project

Project/Area Number 21H04869
Research InstitutionUniversity of Tsukuba

Principal Investigator

朴 泰祐  筑波大学, 計算科学研究センター, 教授 (90209346)

Co-Investigator(Kenkyū-buntansha) 佐野 健太郎  国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (00323048)
山口 佳樹  筑波大学, システム情報系, 准教授 (30373377)
小林 諒平  筑波大学, 計算科学研究センター, 助教 (40783709)
佐藤 三久  国立研究開発法人理化学研究所, 計算科学研究センター, 副センター長 (60333481)
藤田 典久  筑波大学, 計算科学研究センター, 助教 (70787671)
辻 美和子  国立研究開発法人理化学研究所, 計算科学研究センター, 研究員 (80466466)
Project Period (FY) 2021-04-05 – 2025-03-31
Keywords複合演算加速環境 / FPGA高位合成 / OpenACC / Ethernet Frame / HBMメモリ
Outline of Annual Research Achievements

複数の演算加速機構としてGPUとFPGAの両者を用いた次世代スーパーコンピューティングのプラットフォーム、言語処理系、並列FPGA処理技術、アプリケーション実行、FPGAストレージに関する総合的な研究を実施した。
GPUとFPGAの統合プログラミング環境として、OpenACC単一言語(C言語実装)で記述したコードを商用または研究用デバイスコンパイラをバックエンドとして呼び出すメタコンパイラのプロトタイプ実装により、宇宙物理の実アプリケーションコードをGPUのみの演算加速に比べ、最大で10倍高速化することに成功した。また、HBMを搭載したFPGAにおける高性能アプリケーション実行APIのプロトタイプ開発を行った。FPGA間通信網については、これをEthernet Frameでデータストリーム処理する環境を構築した。また、FPGAをコントローラとしてSSDを高速かつ柔軟に制御するシステム等の研究開発を行った。
これらの成果として10編の査読付き学術論文の公表と、12件の国際会議発表(うち5件は招待講演)を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

FPGAとGPUの複合デバイスプログラミング環境として、米国ORNLで開発中のFPGA対応OpenACC研究用コンパイラであるOpenARCと、GPU対応OpenACC商用コンパイラであるPGI社コンパイラを両デバイスのバックエンドコンパイラとして用いるメタコンパイラMHOATをプロトタイプ実装し、一般的なHPCコードにおける記述量と性能のトレードオフを明らかにした。また、宇宙物理学の実アプリケーションであるARGOTコードをMHOATでコンパイルし、GPUとFPGAを搭載する単一ノード上で、GPUだけの計算に比べFPGAを追加投入することで最大10倍の性能向上を達成し、当初予定の実績を達成した。(朴・佐藤・辻チーム)
Ethernet Frameを用いてデータストリームをFPGA間で送受信する回路、および通信網に対しデータストリームを送受信するHLSのプログラミング環境の実装が進んでいることから、計画通りに進捗している。(佐野チーム)
ユーザ回路における利用性を高めるためオープンソースの LiteX を用いた実装へと拡張した。また,基板の改版も進め,ストレージを32台まで接続できるようになり、当初予定を達成した。(山口チーム)
ノードを跨ぐGPU+FPGA連携宇宙物理アプリケーションコードの演算加速の性能評価を実施した.また,GPU+FPGA連携宇宙物理アプリケーションコードを1ノード実行から2ノード実行に拡張し,その性能評価を実施した。これらを支援する通信環境として、MPIにおける集団通信と同等の機能を、独自開発のFPGA間通信フレームワークCIRCUSに実装し、FPGA間並列通信に関する研究を計画どおり推進した。(小林・藤田チーム)

Strategy for Future Research Activity

GPU・FPGA混載ノードにおける宇宙物理コードARGOTのノード間並列化を推進する。GPU間通信はFPGAに依存するよりもホスト側のInfiniBandを用いた方が効率が高いが、FPGA間通信は独自開発フレームワークであるCIRCUSを用いることで、通信オーバヘッドを極限まで減らすことができる見込みである。また、CIRCUS上に通信フロー制御とエラーチェック機構を組み込み、実アプリケーションでのユーザの利便性を向上させる。(朴・藤田チーム)
FPGA間通信機構をEthernet Frameで実現することにより、Ethernetスイッチを用いた大規模化が容易となることを実アプリケーションコードで評価する。複数FPGAによる並列化とその通信をCIRCUSによるものとEthernetスイッチによるもので比較し、FPGA間通信網に関する研究をまとめる。(佐野チーム)
FPGA制御によるSSDの利用効率を一層高めるとともに、実アプリケーションの実装を通した評価を進め、FPGAをSSDのインテリジェントコントローラとして完成することを目指す。(山口チーム)
FPGA向けOpenACCコンパイラを、OpenARCだけに頼るのではなく、独自開発のバックエンドコンパイラとして実装し、FPGA特有の性能最適化に関する手法の開発を進める。(佐藤・辻・朴チーム)
FPGA間通信システムCIRCUSの運用上の実用性を高め、各種アプリケーションで利用可能とするための集団通信ライブラリの完成を目指すと共に、フロー制御の実装によるCIRCUSの実用化を目指す。(藤田チーム)

  • Research Products

    (35 results)

All 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (16 results) (of which Peer Reviewed: 10 results,  Open Access: 3 results) Presentation (18 results) (of which Int'l Joint Research: 12 results,  Invited: 6 results)

  • [Int'l Joint Research] Oak Ridge National Laboratory(米国)

    • Country Name
      U.S.A.
    • Counterpart Institution
      Oak Ridge National Laboratory
  • [Journal Article] VCSN: Virtual Circuit-Switching Network for Flexible and Simple-to-Operate Communication in HPC FPGA Cluster2023

    • Author(s)
      Ueno Tomohiro、Sano Kentaro
    • Journal Title

      ACM Transactions on Reconfigurable Technology and Systems

      Volume: 16 Pages: 1~32

    • DOI

      10.1145/3579848

    • Peer Reviewed
  • [Journal Article] A Scalable Many-core Overlay Architecture on an HBM2-enabled Multi-Die FPGA2023

    • Author(s)
      Abdelhamid Riadh Ben、Yamaguchi Yoshiki、Boku Taisuke
    • Journal Title

      ACM Transactions on Reconfigurable Technology and Systems

      Volume: 16 Pages: 1~33

    • DOI

      10.1145/3547657

    • Peer Reviewed / Open Access
  • [Journal Article] Accelerating Radiative Transfer Simulation on NVIDIA GPUs with OpenACC2023

    • Author(s)
      Kobayashi Ryohei、Fujita Norihisa、Yamaguchi Yoshiki、Boku Taisuke、Yoshikawa Kohji、Abe Makito、Umemura Masayuki
    • Journal Title

      PDCAT 2022: Parallel and Distributed Computing, Applications and Technologies

      Volume: 13798 Pages: 344~358

    • DOI

      10.1007/978-3-031-29927-8_27

    • Peer Reviewed
  • [Journal Article] GPU-FPGA-accelerated Radiative Transfer Simulation with Inter-FPGA Communication2023

    • Author(s)
      Kobayashi Ryohei、Fujita Norihisa、Yamaguchi Yoshiki、Boku Taisuke、Yoshikawa Kohji、Abe Makito、Umemura Masayuki
    • Journal Title

      HPC Asia '23: Proceedings of the International Conference on High Performance Computing in Asia-Pacific Region

      Volume: - Pages: 117-125

    • DOI

      10.1145/3578178.3578231

    • Peer Reviewed / Open Access
  • [Journal Article] Implementation and Performance Evaluation of Collective Communications Using CIRCUS on Multiple FPGAs2023

    • Author(s)
      Kikuchi Kohei、Fujita Norihisa、Kobayashi Ryohei、Boku Taisuke
    • Journal Title

      HPC Asia '23: Proceedings of the International Conference on High Performance Computing in Asia-Pacific Region

      Volume: - Pages: 15-23

    • DOI

      10.1145/3581576.3581602

    • Peer Reviewed
  • [Journal Article] FPGAクラスタESSPERにおけるFPGA間通信速度の予備評価2023

    • Author(s)
      境 琳太郎, 中原 康宏, 佐野 健太郎, 飯田 全広
    • Journal Title

      電子情報通信学会リコンフィギャラブルシステム研究会 信学技法

      Volume: 122(60) Pages: 48-49

  • [Journal Article] FPGA-Dedicated Network vs. Server Network for Pipelined Computing with Multiple FPGAs2022

    • Author(s)
      Ueno Tomohiro、Miyajima Takaaki、Sano Kentaro
    • Journal Title

      Proceedings of International Symposium on Highly-Efficient Accelerators and Reconfigurable Technologies (HEART)

      Volume: - Pages: 90-91

    • DOI

      10.1145/3535044.3535057

    • Peer Reviewed
  • [Journal Article] Packed SIMD Vectorization of the DRAGON2-CB2022

    • Author(s)
      Abdelhamid Riadh Ben、Yamaguchi Yoshiki
    • Journal Title

      2022 IEEE 15th International Symposium on Embedded Multicore/Many-core Systems-on-Chip (MCSoC)

      Volume: - Pages: 85-92

    • DOI

      10.1109/MCSoC57363.2022.00023

    • Peer Reviewed
  • [Journal Article] Performance Evaluation on GPU-FPGA Accelerated Computing Considering Interconnections between Accelerators2022

    • Author(s)
      Sano Yuka、Kobayashi Ryohei、Fujita Norihisa、Boku Taisuke
    • Journal Title

      The Proceedings of the 12th International Symposium on Highly Efficient Accelerators and Reconfigurable Technologies (HEART 2022)

      Volume: - Pages: 10-16

    • DOI

      10.1145/3535044.3535046

    • Peer Reviewed / Open Access
  • [Journal Article] Design and Performance Evaluation of UCX for Tofu-D Interconnect with OpenSHMEM-UCX on Fugaku2022

    • Author(s)
      Watanabe Yutaka、Sato Mitsuhisa、Tsuji Miwako、Murai Hitoshi、Boku Taisuke
    • Journal Title

      2022 IEEE/ACM Parallel Applications Workshop: Alternatives To MPI+X (PAW-ATM)

      Volume: - Pages: 52-61

    • DOI

      10.1109/PAW-ATM56565.2022.00010

    • Peer Reviewed
  • [Journal Article] マルチFPGAシステムの高位合成シミュレーション手法に関する検討2022

    • Author(s)
      池原 陽大, 本吉 圭吾, 福田 航生, 眞邉 泰斗, 柴田 裕一郎, 上野 知洋, 佐野 健太郎
    • Journal Title

      電子情報通信学会リコンフィギャラブルシステム研究会 信学技法

      Volume: 122(286) Pages: 67-71

  • [Journal Article] 並列化に伴うデータ空間の分割とそれによるアクセスパターンの変化がもたらすHBMの振る舞い調査2022

    • Author(s)
      瀬口知洋, 中井榛希, 山口佳樹, 藤田典久, 小林諒平, 朴泰祐
    • Journal Title

      電子通信情報学会技術報告(信学技法)

      Volume: 122(133, CPSY) Pages: 83-88

  • [Journal Article] GPU・FPGA複合型演算加速クラスタを用いた宇宙輻射輸送コードARGOTの多ノード並列化2022

    • Author(s)
      小林 諒平, 藤田 典久, 山口 佳樹, 朴 泰祐, 吉川 耕司, 安部 牧人, 梅村 雅之
    • Journal Title

      研究報告ハイパフォーマンスコンピューティング(HPC)

      Volume: 2022-HPC-185(1) Pages: 1-6

  • [Journal Article] ノードを跨いだGPU・FPGA複合型演算加速による宇宙物理シミュレーションの実装と評価2022

    • Author(s)
      佐野 由佳, 小林 諒平, 藤田 典久, 朴 泰祐
    • Journal Title

      研究報告ハイパフォーマンスコンピューティング(HPC)

      Volume: 2022-HPC-184(6) Pages: 1-7

  • [Journal Article] Implementation and Performance Evaluation of Memory System using Addressable Cache for HPC Applications on HBM2 equipped FPGAs,2022

    • Author(s)
      Norihisa Fujita, Ryohei Kobayashi, Yoshiki Yaamaguchi, Taisuke Boku
    • Journal Title

      20th International Workshop for Algorithms, Models, and Tools for Parallel Computing on Heterogeneous Platforms (HeteroPar 2022),

      Volume: - Pages: 1-12

    • Peer Reviewed
  • [Journal Article] 並列 FPGA 環境における通信システム CIRCUS を用いた集団通信の実装と性能評価2022

    • Author(s)
      菊池 航平, 藤田 典久, 小林 諒平, 朴 泰祐
    • Journal Title

      研究報告ハイパフォーマンスコンピューティング(HPC)

      Volume: 2022-HPC-187(7) Pages: 1-8

  • [Presentation] GPU-FPGA-accelerated Radiative Transfer Simulation with Inter-FPGA Communication2023

    • Author(s)
      Ryohei Kobayashi
    • Organizer
      International Conference on High Performance Computing in Asia-Pacific Region (HPC Asia)
    • Int'l Joint Research
  • [Presentation] NVIDIA H100を搭載した最新スーパーコンピュータPegasusが拓くHPC&AI2023

    • Author(s)
      朴 泰祐
    • Organizer
      NVIDIA GTC2023
    • Invited
  • [Presentation] FPGA-Dedicated Network vs. Server Network for Pipelined Computing with Multiple FPGAs2022

    • Author(s)
      Tomohiro Ueno
    • Organizer
      International Symposium on Highly-Efficient Accelerators and Reconfigurable Technologies (HEART)
    • Int'l Joint Research
  • [Presentation] FPGAクラスタESSPERにおけるFPGA間通信速度の予備評価2022

    • Author(s)
      境 琳太郎
    • Organizer
      電子情報通信学会リコンフィギャラブルシステム研究会
  • [Presentation] マルチFPGAシステムの高位合成シミュレーション手法に関する検討2022

    • Author(s)
      池原 陽大
    • Organizer
      電子情報通信学会リコンフィギャラブルシステム研究会
  • [Presentation] Accelerating Radiative Transfer Simulation on NVIDIA GPUs with OpenACC2022

    • Author(s)
      Ryohei Kobayashi
    • Organizer
      PDCAT 2022: Parallel and Distributed Computing, Applications and Technologies
    • Int'l Joint Research
  • [Presentation] GPU・FPGA複合型演算加速クラスタを用いた宇宙輻射輸送コードARGOTの多ノード並列化2022

    • Author(s)
      小林 諒平
    • Organizer
      第185回ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] Performance Evaluation on GPU-FPGA Accelerated Computing Considering Interconnections between Accelerators2022

    • Author(s)
      Yuka Sano
    • Organizer
      International Symposium on Highly Efficient Accelerators and Reconfigurable Technologies (HEART)
    • Int'l Joint Research
  • [Presentation] ノードを跨いだGPU・FPGA複合型演算加速による宇宙物理シミュレーションの実装と評価2022

    • Author(s)
      佐野 由佳
    • Organizer
      第184回ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] Design and Performance Evaluation of UCX for Tofu-D Interconnect with OpenSHMEM-UCX on Fugaku2022

    • Author(s)
      Yutaka Watanabe
    • Organizer
      2022 IEEE/ACM Parallel Applications Workshop: Alternatives To MPI+X (PAW-ATM)
    • Int'l Joint Research
  • [Presentation] Implementation and Performance Evaluation of Collective Communications Using CIRCUS on Multiple FPGAs2022

    • Author(s)
      Kohei Kikuchi
    • Organizer
      International Conference on High Performance Computing in Asia-Pacific Region (HPC Asia)
    • Int'l Joint Research
  • [Presentation] Implementation and Performance Evaluation of Memory System using Addressable Cache for HPC Applications on HBM2 equipped FPGAs,2022

    • Author(s)
      Norihisa Fujita
    • Organizer
      20th International Workshop for Algorithms, Models, and Tools for Parallel Computing on Heterogeneous Platforms (HeteroPar 2022),
    • Int'l Joint Research
  • [Presentation] 並列 FPGA 環境における通信システム CIRCUS を用いた集団通信の実装と性能評価2022

    • Author(s)
      菊池 航平
    • Organizer
      第187回ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] Multi-Hetero Accelerated Computing ~ Challenge toward Extreme Heterogeneity2022

    • Author(s)
      Taisuke Boku
    • Organizer
      Int. Workshop ExHET2022 (in Int. Conf. PPoPP2022)
    • Int'l Joint Research / Invited
  • [Presentation] How FPGA can contribute to HPC ?2022

    • Author(s)
      Taisuke Boku
    • Organizer
      VLSI-DAT2022 Symposium
    • Int'l Joint Research / Invited
  • [Presentation] HPC/BD/AI Supported by Big Memory Supercomputer2022

    • Author(s)
      Taisuke Boku
    • Organizer
      Int. Workshop on EMC2-2022
    • Int'l Joint Research / Invited
  • [Presentation] Cygnus-BD: the Big Memory Supercomputer for HPC, Big Data and AI2022

    • Author(s)
      Taisuke Boku
    • Organizer
      2022 MVAPICH Users Group Workshop
    • Int'l Joint Research / Invited
  • [Presentation] How FPGA can compensate with High Performance Computing ?2022

    • Author(s)
      Taisuke Boku
    • Organizer
      Int. Conf. FPT2022
    • Int'l Joint Research / Invited

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi