• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

ハイブリッド混合精度処理によるエクサスケール反復解法ライブラリの開発

Research Project

Project/Area Number 22K12053
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 60090:High performance computing-related
Research InstitutionJapan Atomic Energy Agency

Principal Investigator

伊奈 拓也  国立研究開発法人日本原子力研究開発機構, システム計算科学センター, 技術・技能職 (70943596)

Co-Investigator(Kenkyū-buntansha) 井戸村 泰宏  国立研究開発法人日本原子力研究開発機構, システム計算科学センター, 副センター長 (00354580)
今村 俊幸  国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (60361838)
Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywordsクリロフ部分空間法 / 混合精度演算 / SYCL / 高性能計算
Outline of Research at the Start

「富岳」や「Summit」をはじめとする最先端スーパーコンピュータでは倍精度演算性能よりも低精度演算性能の方が数倍高く、最先端スーパーコンピュータの性能を引き出すためには低精度演算を活用した混合精度処理が重要である。しかしながら、低精度演算、特に、半精度演算はダイナミックレンジが狭く、実アプリケーションにおける精度低下や性能低下をもたらす可能性があるため、演算精度を適切に選択することが混合精度処理では必須である。本研究では、計算カーネル単位でデータ型と演算精度の組み合わせを可変に行うことで、演算精度の維持とメモリアクセスのコストを最小化した高速かつ数値安定な解法の開発を行う。

Outline of Annual Research Achievements

2023年度は昨年度SYCLにより整備した半精度、単精度、倍精度、4倍精度によるデータ型と演算精度の任意の組み合わせを可能とするハイブリッド混合精度処理フレームワークを利用して一般化最小残差法(GMRES法)及び圧縮基底(CB)GMRES法を実装した。GMRES法は方程式Ax=bの行列Aとベクトルbによる部分空間{b,Ab,AAb,...}において残差Ax-bを最小化するベクトルxの近似解を求めるクリロフ部分空間法であり、反復毎 に残差ノルムが単調減少する特徴がある。{b,Ab,AAb,...}のベクトル列はAのべき乗が大きくなると線形従属に近づくため{b,Ab,AAb,...}を直交化して得られるベクトル列を基底ベクトルにして近似解を計算する。 CBGMRES法はGMRES法と同じアルゴリズムであるが、直交化して得られる基底ベクトルを低精度に変換して保持することでメモリアクセスを削減し、高速化を実現する。しかしながら、基底ベクトルを低精度で保持するため丸め誤差の影響により収束性が悪化する場合がある。
実装したCBGMRES法をSuite Sparse Matrix Collectionで公開されている行列データを用いて収束性を評価した。その結果、ハイブリッド混合精度処理によってメモリアクセスを削減して処理を高速化できるケースを確認したが、問題によっては反復毎に残差ノルムが単調減少する性質が失われ、GMRES法と比較して収束性が悪化するケースが存在することを確認した。この問題に対し、基底ベクトルの直交化に数値精度の高い方法を採用することで収束性の悪化が改善することを確認した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

CBGMRES法を実装してハイブリッド混合精度処理による処理の高速化を確認し、さらに、これに伴う収束特性の劣化およびそれを回避する高精度計算手法を確認できたことから、順調に進展している。

Strategy for Future Research Activity

2024年度はハイブリッド混合精度処理に対応した省通信クリロフ部分空間法の整備を行い高速化と数値安定性の検証を進める。また、本研究課題で整備したライブラリの公開を目指す。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (4 results)

All 2024 2023 2022

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (3 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] A new data conversion method for mixed precision Krylov solvers with FP16/BF16 Jacobi preconditioners2023

    • Author(s)
      Ina Takuya、Idomura Yasuhiro、Imamura Toshiyuki、Onodera Naoyuki
    • Journal Title

      HPC Asia 2023

      Volume: 1 Pages: 29-34

    • DOI

      10.1145/3578178.3578222

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Presentation] Performance Evaluation of Multi-Precision Conjugate Gradient Method in CPU/GPU Environment Using SYCL2024

    • Author(s)
      T. Ina, Y. Idomura, and T. Imamura
    • Organizer
      The 6th R-CCS International Symposium
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 多相CFDシミュレーションにおける悪条件行列に対するGPU向けBFloat16精度前処理の検証2022

    • Author(s)
      伊奈 拓也,井戸村 泰宏,今村 俊幸,山下 晋,小野寺 直幸
    • Organizer
      第185回ハイパフォーマンスコンピューティング研究発表会
    • Related Report
      2022 Research-status Report
  • [Presentation] CPU+GPU混成システム上の固有値計算ソルバー の現状調査と性能評価2022

    • Author(s)
      今村 俊幸,伊奈 拓也,廣田悠輔,井戸村 泰宏
    • Organizer
      第187回ハイパフォーマンスコンピューティング研究発表会
    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi