• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

圧縮性乱流直接数値シミュレーションのための3軸並列化コードの開発と評価

Research Project

Project/Area Number 23K11124
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 60090:High performance computing-related
Research InstitutionKobe University

Principal Investigator

横川 三津夫  神戸大学, システム情報学研究科, 教授 (70358307)

Project Period (FY) 2023-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2025: ¥130,000 (Direct Cost: ¥100,000、Indirect Cost: ¥30,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywords圧縮性乱流直接数値シミュレーションード / 等温条件 / 3次元並列化コード / 8次精度コンパクト差分法 / Mattor法 / スーパーコンピュータ富岳 / 性能評価 / 圧縮性乱流直接数値シミュレーション / 3軸並列化コード / 有限差分法 / 袖通信
Outline of Research at the Start

本研究では,周期境界条件を課した立方体領域において,高次精度有限差分法による圧縮性乱流直接数値シミュレーション(Direct Numenrical Simulation,DNS)の3軸並列化コードを開発する.空間離散化には,移流項にコンパクト差分法,拡散項に中心差分法を用い,時間積分に3段3次TVDルンゲ・クッタ法を用いる.また,スペクトル解析部分に,3軸並列高速フーリエ変換法を実装する.本DNSコードにより,スーパーコンピュータ富岳など大規模並列計算機システム上で世界最大規模の離散格子点数を持つDNSに挑戦し,従来より詳細な圧縮性乱流に関する統計データの取得を試みる.

Outline of Annual Research Achievements

本研究の目的は,周期境界条件を課した立方体領域に対し,等温を仮定した高次精度有限差分法による圧縮性乱流直接数値シミュレーション(Direct Numerical Simulation,DNS)の3軸並列化コードを新規に開発することである.基礎方程式の連続の式,及びナビエ・ストークス方程式(NS方程式)の離散化には,移流項に8次精度コンパクト差分法,拡散項に8次精度中心差分法による空間離散化を行い,時間発展に3段3次TVDルンゲ・クッタ法を用いる.
2023年度は,DNSコードの設計,実装,初期コードの性能評価を行った.各軸に対し8次精度コンパクト差分法を適用して得られる連立一次方程式の解法には,並列解法Mattor法を実装した.また,各軸の並列サブドメインの格子点数が64以上の場合には,係数行列のサイズに対する漸近的性質を活用した並列漸近Mattor法を開発し,格子点数2048の3乗,並列レイアウト8x8x8の並列実行において,Mattor法と比較して約4倍の高速化を達成した.乱流の準定常状態を保つために外力注入する部分は,必要な低波数フーリエ係数が高々90であることを考慮し,離散フーリエ級数の式そのままを適用する実装を行い,すべてのフーリエ係数を求める高速フーリエ変換(Fast Fourier Transform, FFT)を用いるよりも約3.2倍高速に求めることができることを明らかにした.時間発展部分の3軸並列化に伴い,乱流統計量を計算するために必要な3次元FFTも3軸並列化を行い,DNSコード全体の3軸並列化を行った.
スカラプロセッサ向けチューニングにより,スーパーコンピュータ「富岳」を用いた格子点数1024の3乗,プロセスレイアウト4x4x4,マルチスレッド数12の計算において,1スレッド実行と比較して4.9倍の高速化を達成した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

DNSコードの実装が完了し,初期コードの性能評価の実施により,具体的なパラメータを用いた計算が可能となった.Mattor法と漸近Mattor法の両方法とも実装し,その計算結果の妥当性,2つの解法の性能比較も順調に進んでいる.乱流場の統計処理部分については,3軸並列FFT,さらには3変数のフーリエ変換をパイプライン的に実施する方法も実装も完了し,DNSコード全体の統一が図られた.
袖領域転送については,メッセージパッシングインターフェイスの機能であるDatatypeを用いたコーディングや,複数の転送手順を比較したが,最新のスーパーコンピュータに見られる計算ノード間の低いデータ転送性能により,それらの実行時間に大きな差は得られておらず,転送部分の良いチューニング結果は得られていない.

Strategy for Future Research Activity

DNSコードによる計算結果の妥当性を,既存コードの比較により検証する.また,PCクラスタ(512並列),スーパーコンピュータ富岳,SX-Aurora TSUBASAなどの計算機システムにおいて,DNSコードの計算性能を評価する.さらに,8,192の3乗以上の格子点数の問題への適用とその実行性能の評価を行う.また,等温条件下の圧縮性乱流DNSコードにエネルギー式を組み込む.
DNSコードによるシミュレーション結果の妥当性評価に関しては,共同で研究しているグループの中で議論をする.コード開発及びその性能評価に関する研究成果は,国際学会や研究会等で発表する.

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (6 results)

All 2024 2023

All Journal Article (4 results) (of which Peer Reviewed: 1 results) Presentation (2 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] 圧縮性乱流直接数値シミュレーションのスカラプロセッサ用コードの開発と性能評価2024

    • Author(s)
      竹上諒,松本泰生,横川三津夫,櫻井幹記,石原卓
    • Journal Title

      情報処理学会研究報告

      Volume: 2023-HPC-193

    • Related Report
      2023 Research-status Report
  • [Journal Article] 速フーリエ変換ルーチンの3軸並列実装と性能評価および圧縮性乱流DNSコードへの適用2024

    • Author(s)
      坂野智紀,横川三津夫,今村俊幸,竹上諒,松本泰生,櫻井幹記,石原卓
    • Journal Title

      情報処理学会研究報告

      Volume: 2023-HPC-193

    • Related Report
      2023 Research-status Report
  • [Journal Article] 圧縮性乱流直接数値シミュレーションコードの3軸並列化とその評価2023

    • Author(s)
      松本泰生,竹上諒,横川三津夫,櫻井幹記,石原卓
    • Journal Title

      情報処理学会研究報告

      Volume: 2023-HPC-191

    • Related Report
      2023 Research-status Report
  • [Journal Article] Performance evaluation of parallel direct numerical simulation code on supercomputer SX-Aurora TSUBASA2023

    • Author(s)
      M. Yokokawa, Y. Takenaka, T. Ishihara, K. Komatsu, and H. Kobayashi,
    • Journal Title

      Computers & Fluids

      Volume: 261 Pages: 105913-105913

    • DOI

      10.1016/j.compfluid.2023.105913

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Presentation] Performance Evaluation of Three-dimensional Fast Fourier Transforms by Three-dimensional Domain Decomposition2024

    • Author(s)
      T. Sakano, M. Yokokawa, T. Imamura, Y. Sakurai, and T. Ishihara
    • Organizer
      The 6th R-CCS International symposium
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] I/O Performance Evaluation of a Memory-Saving DNS Code on SX-Aurora TSUBASA2023

    • Author(s)
      M. Yokokawa, Y. Yamane, K. Yamaguchi, T. Soga, T. Matsumoto, A. Musa, K. Komatsu,T. Ishihara and H. Kobayashi
    • Organizer
      2023 IEEE International Parallel and Distributed Processing Symposium Workshops
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2023-04-13   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi