GPUスパコンを用いた都市風況解析の実時間アンサンブルデータ同化

Research Project

Project/Area Number	19K24359
Research Category	Grant-in-Aid for Research Activity Start-up
Allocation Type	Multi-year Fund
Review Section	1001:Information science, computer engineering, and related fields
Research Institution	Japan Atomic Energy Agency
Principal Investigator	長谷川雄太国立研究開発法人日本原子力研究開発機構, システム計算科学センター, 研究職 (10851016)
Project Period (FY)	2019-08-30 – 2021-03-31
Project Status	Granted (Fiscal Year 2019)
Budget Amount *help	¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000) Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000) Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	GPU / 格子ボルツマン法 / アンサンブル計算 / アンサンブルデータ同化 / AMR / 都市風況
Outline of Research at the Start	建築物が密集する都市部における汚染物質拡散予報を実現するため、GPUで高速に計算できる格子ボルツマン法に基づく風況解析の実時間アンサンブルデータ同化手法を開発する。既往研究では都市部2km四方・1m解像度の実時間計算が達成されているが、計算には百台規模の並列計算を要している。アンサンブル計算に基づくデータ同化手法を導入するためには1ケースの計算規模を数GPU程度に抑える必要がある。本課題では、AMR法の高度化により要求GPU数を既往研究の10分の1以下まで低減するとともに、アンサンブルデータ同化手法を導入し、汚染物質の高精度拡散予測システムの実現を目指す。
Outline of Annual Research Achievements	都市風況解析のアンサンブル計算を行うにあたり、1アンサンブルメンバーあたり100GPU以上を要していた計算規模を数GPUに低減することを目的として、メモリ削減実装を行った。第1に、イントラノードGPUの相互接続技術であるNVLinkを活用したUnified memoryによる複数GPU計算のテストコードを作成し、等間隔格子のような単純なメモリ構造であれば高い計算性能を得られること、およびAMR格子においてMPI通信用の袖領域格子が削減されることで従来の実装法と比べて最大25%程度のメモリ使用量を削減できることを確認した。しかし、AMR格子においては、GPU間で暗黙に通信されるデータの伝送効率が悪く、計算性能が大幅に低下することから、風況解析コードに適用することは困難であることが分かった。第2に、都市部の建物形状を反映し、建物内部の不要な格子を削減する実装を行い、メモリ使用量を最大4%程度削減した。第3に、都市部の建物形状に基づく細分化格子の生成を行うことで、低い建物の上空で格子解像度を粗くして計算格子の削減を図ったが、細分化格子の形状が複雑になったために解像度の異なる格子の接続部で非物理的な流れが生じることが発覚したため、これを採用するには至っていない。アンサンブルデータ同化の実装に向けて、まず、アンサンブル計算を実装した。一度のmpirunで複数のアンサンブルメンバーの計算を行い、計算中にアンサンブルデータの統計処理を行うように実装した。アンサンブル平均値や分散などの統計量を算出できるようになり、計算の不確かさ評価、ガウス性の評価等が可能となり、開発中の都市風況解析コードにおける汚染物質拡散解析の高度化が実現された。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason - 実施計画(a) 「建造物の形状に基づく適合細分格子（AMR）の導入」について建物内部の不要な格子を省く実装が完了し、実都市を対象とした風況解析において最大4%のメモリ使用量を削減できた。一方で、建物形状に基づく細分化により低い建物の上空の格子解像度を粗くする実装では、細分化格子の形状が複雑になったために解像度の異なる格子の接続部で非物理的な流れが生じることが発覚した。解像度の異なる格子間での物理量の補間の手法を見直す必要があるが、令和元年度においては未達である。このほか、関連するメモリ削減実装としてイントラノードGPUの相互接続技術であるNVLinkを活用したUnified memoryによる複数GPU計算を試行したところ、細分化格子におけるMPI通信用の袖領域格子を削減できることからメモリ使用量を25%程度削減できることが分かった一方で、NVLinkによって暗黙に通信されるデータの転送効率が悪く、計算性能が大幅に低下することが分かった。このため、Unified memoryの実装を採用するには至っていない。上記を纏めるに、都市風況解析コードにおけるメモリ削減実装において、現状用いることができるのは、建物内部の不要な格子を省く実装のみである。メモリ削減の効果はたかだか4%であり、当初予定していた90%以上のメモリ削減を実現することが困難となっている。したがって実施計画(a)は遅延しているものと評価する。 - 実施計画(b) 「アンサンブル計算の実施」について MPIを用いて、アンサンブル計算のうちデータ同化を含まない実装を完了している。令和2年度においてデータ同化手法であるアンサンブルカルマンフィルタ（EnKF）を実装する予定である。これら実施計画(b)は、当初の予定通り進捗している。
Strategy for Future Research Activity	現在までの進捗状況において述べたとおり、実施計画(a) 「建造物の形状に基づく適合細分格子（AMR）の導入」および他のメモリ削減実装については、当初の計画よりも進捗が遅れていおり、当初90%以上のメモリ使用量を削減する計画であったのに対し、現状ではたかだか4%のメモリを削減したにとどまる。現状のままでは実施計画の達成は困難であると判断し、全計算格子の格子解像度を粗くするなど他の方法により計算規模を小さくすることを検討している。既往研究では最細格子の解像度を1mとした100GPU以上の規模で計算が行われていたが、計算条件を精査したところ、最細格子の解像度を4mとした場合でも計算の妥当性をある程度維持したまま風況解析を実施できることが分かった。解像度4mの格子は、4GPU計算に相当し、計算規模はもとの10分の1以下である。また、100アンサンブル計算を行った場合でも全体の計算規模は400GPUであり、国内のスーパーコンピュータで実行可能な規模である。このため、当初の計画にあったメモリ削減実装は未達であるが、都市風況解析のアンサンブル計算を実施することは可能であると考えている。実施計画(b)「アンサンブル計算の実施」は予定通りに進捗しており、令和元年度においてアンサンブル計算のうちデータ同化を含まない部分の実装を完了している。令和2年度においてデータ同化手法であるアンサンブルカルマンフィルタ（EnKF）の実装および検証を進めていく予定である。