2019 Fiscal Year Research-status Report
GPUスパコンを用いた都市風況解析の実時間アンサンブルデータ同化
| Project/Area Number |
19K24359
|
|---|
| Research Institution | Japan Atomic Energy Agency |
|---|
Principal Investigator |
長谷川 雄太 国立研究開発法人日本原子力研究開発機構, システム計算科学センター, 研究職 (10851016)
|
|---|
| Project Period (FY) |
2019-08-30 – 2021-03-31
|
| Keywords | GPU / 格子ボルツマン法 / アンサンブル計算 |
|---|
| Outline of Annual Research Achievements |
都市風況解析のアンサンブル計算を行うにあたり、1アンサンブルメンバーあたり100GPU以上を要していた計算規模を数GPUに低減することを目的として、メモリ削減実装を行った。第1に、イントラノードGPUの相互接続技術であるNVLinkを活用したUnified memoryによる複数GPU計算のテストコードを作成し、等間隔格子のような単純なメモリ構造であれば高い計算性能を得られること、およびAMR格子においてMPI通信用の袖領域格子が削減されることで従来の実装法と比べて最大25%程度のメモリ使用量を削減できることを確認した。しかし、AMR格子においては、GPU間で暗黙に通信されるデータの伝送効率が悪く、計算性能が大幅に低下することから、風況解析コードに適用することは困難であることが分かった。第2に、都市部の建物形状を反映し、建物内部の不要な格子を削減する実装を行い、メモリ使用量を最大4%程度削減した。第3に、都市部の建物形状に基づく細分化格子の生成を行うことで、低い建物の上空で格子解像度を粗くして計算格子の削減を図ったが、細分化格子の形状が複雑になったために解像度の異なる格子の接続部で非物理的な流れが生じることが発覚したため、これを採用するには至っていない。
アンサンブルデータ同化の実装に向けて、まず、アンサンブル計算を実装した。一度のmpirunで複数のアンサンブルメンバーの計算を行い、計算中にアンサンブルデータの統計処理を行うように実装した。アンサンブル平均値や分散などの統計量を算出できるようになり、計算の不確かさ評価、ガウス性の評価等が可能となり、開発中の都市風況解析コードにおける汚染物質拡散解析の高度化が実現された。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
- 実施計画(a) 「建造物の形状に基づく適合細分格子（AMR）の導入」について
建物内部の不要な格子を省く実装が完了し、実都市を対象とした風況解析において最大4%のメモリ使用量を削減できた。一方で、建物形状に基づく細分化により低い建物の上空の格子解像度を粗くする実装では、細分化格子の形状が複雑になったために解像度の異なる格子の接続部で非物理的な流れが生じることが発覚した。解像度の異なる格子間での物理量の補間の手法を見直す必要があるが、令和元年度においては未達である。このほか、関連するメモリ削減実装としてイントラノードGPUの相互接続技術であるNVLinkを活用したUnified memoryによる複数GPU計算を試行したところ、細分化格子におけるMPI通信用の袖領域格子を削減できることからメモリ使用量を25%程度削減できることが分かった一方で、NVLinkによって暗黙に通信されるデータの転送効率が悪く、計算性能が大幅に低下することが分かった。このため、Unified memoryの実装を採用するには至っていない。上記を纏めるに、都市風況解析コードにおけるメモリ削減実装において、現状用いることができるのは、建物内部の不要な格子を省く実装のみである。メモリ削減の効果はたかだか4%であり、当初予定していた90%以上のメモリ削減を実現することが困難となっている。したがって実施計画(a)は遅延しているものと評価する。
- 実施計画(b) 「アンサンブル計算の実施」について
MPIを用いて、アンサンブル計算のうちデータ同化を含まない実装を完了している。令和2年度においてデータ同化手法であるアンサンブルカルマンフィルタ（EnKF）を実装する予定である。これら実施計画(b)は、当初の予定通り進捗している。
|
| Strategy for Future Research Activity |
現在までの進捗状況において述べたとおり、実施計画(a) 「建造物の形状に基づく適合細分格子（AMR）の導入」および他のメモリ削減実装については、当初の計画よりも進捗が遅れていおり、当初90%以上のメモリ使用量を削減する計画であったのに対し、現状ではたかだか4%のメモリを削減したにとどまる。現状のままでは実施計画の達成は困難であると判断し、全計算格子の格子解像度を粗くするなど他の方法により計算規模を小さくすることを検討している。既往研究では最細格子の解像度を1mとした100GPU以上の規模で計算が行われていたが、計算条件を精査したところ、最細格子の解像度を4mとした場合でも計算の妥当性をある程度維持したまま風況解析を実施できることが分かった。解像度4mの格子は、4GPU計算に相当し、計算規模はもとの10分の1以下である。また、100アンサンブル計算を行った場合でも全体の計算規模は400GPUであり、国内のスーパーコンピュータで実行可能な規模である。このため、当初の計画にあったメモリ削減実装は未達であるが、都市風況解析のアンサンブル計算を実施することは可能であると考えている。
実施計画(b)「アンサンブル計算の実施」は予定通りに進捗しており、令和元年度においてアンサンブル計算のうちデータ同化を含まない部分の実装を完了している。令和2年度においてデータ同化手法であるアンサンブルカルマンフィルタ（EnKF）の実装および検証を進めていく予定である。
|
| Causes of Carryover |
新型コロナウイルスの感染拡大懸念のため、参加を予定していた国際会議の開催が中止されたこと、および他の出張・外勤等を控えたため、旅費の使用額が当初の予定よりも低くなった。旅費の次年度使用額については、新型コロナウイルスの収束後の出張・外勤等旅費に充当する予定である。また、令和1年度においては、研究機関の所有する小型のクラスタで計算を実施するのみで研究を遂行することができ、外部のGPUスーパーコンピュータの計算資源をしなかったため、その他として計上した計算機使用料を使用しなかった。計算機使用料は、令和2年度に充当する予定である。
|
