Development of parallel solvers with spectral-like resolution for three-dimensional incompressible turbulence

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K11927
• Research Institution: Aichi Institute of Technology
• Principal Investigator: 岡本 直也 愛知工業大学, 工学部, 准教授 (80547414)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 並列計算 / 乱流

Outline of Annual Research Achievements

我々はこれまでに乱流の計算が可能なCD手法に基づくコードを開発済みであるが[1]、高性能計算のためには、計算機ハードウェア特性も考慮したチューニングが必要である。本年度は(1)スペクトル法(SP法)ほど大域通信を必要としないながらも、高精度な微分演算が可能な空間微分離散化手法であるコンパクト差分法(CD法)に基づく計算コードの高効率化、(2) SP法以外の種々の空間微分離散化手法がどの程度SP法に匹敵しうるか?を目的とし、(1)については、富岳と同様なアーキテクチャの計算機である「不老」にて分析・チューニング作業を行った。分析を行ったところ、あるdo loop の処理が遅く、その中でもL2キャッシュアクセス待ち時間が多大であることが明らかになった。改善案として配列内にダミー領域を挿入する(パディング)方法や、doループ内の配列の数を減らすテストを行った。当該 do loop 箇所だけに注目すると約4.8倍高速になった。現段階では、改善箇所は局所的であるが、同様な構造をもつ部分をコード全体にわたり改善する予定である。(2)については、本年度は局所的な通信のみを用いる陽的差分について注目し、その正確さを文献[2]と同様な方法で調べたところ、24次精度中心差分はSP法や、spCCD法に匹敵する正確さをもつことがわかった。

[1] 学際大規模情報基盤共同利用報告書「3次元非圧縮一様乱流の超並列計算に向けて」https://jhpcn-kyoten.itc.u-tokyo.ac.jp/download/final/jh190044-NAH.pdf
[2] HPCIシステム利用研究課題 利用報告書「3 次元非圧縮乱流のエクサスケール並列計算に向けて」https://www.hpci-office.jp/output/hp190080/outcome.pdf?
1615710280

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究で開発している乱流並列計算コードを、最近の計算機である「不老」に移植し、プロファイラーにより分析し、計算速度改善の指針が得られ、実際に改善案を試したところ、局所的ではあるが、その効果を確認することができたため。
また、種々の陽的差分（24次精度中心差分、最適化された12次精度差分）の正確さを発達した乱流場を用いて調べることができたため。

Strategy for Future Research Activity

今回の計算速度改善は、コードの局所的な速度改善にとどまっているため、コード全体にわたり、今回の方法を適用することで速度の改善を図る。また、今回は、非並列部分の計算速度の改善を行ったが、この改善により、並列部分におけるCPU時間の占める割合が多くなると考えられるため、並列部分の速度の改善も必要になると考えられる。これについては、MPIの通信関数を変更することが考えられる。

Causes of Carryover

20,100円ほど繰り越し金額があるが、本研究を遂行に必要な翌年度の計算機使用料としてまとめて効率的に使用する予定である。