2019 Fiscal Year Research-status Report
リアルタイム津波浸水被害推定システムにおける高速化技術の研究開発
| Project/Area Number |
18K11322
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
撫佐 昭裕 東北大学, サイバーサイエンスセンター, 客員教授 (40639655)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 津波シミュレーション / スーパーコンピュータ / 高速化技術 |
|---|
| Outline of Annual Research Achievements |
本研究は，次世代スーパーコンピュータをターゲットとして，リアルタイム津波浸水被害推計システムの高速化技術を研究・開発するものである．本年度は，システムアーキテクチャの検討，高速化技術の開発，高速化実装と評価を実施した．
システムアーキテクチャの検討では，当初，研究計画にはなかったGPUの性能評価を実施した．GPUの性能は，Xeon Goldプロセッサのコア性能を１にした場合，約10倍であった．この性能はGPUにおいて高いものではなかった．この原因は，本プログラムのB/F値が1.8のところGPUのB/F値が0.067と低く，メモリバンド幅律速になっていること，また，本プログラムが地形に合わせた計算を行うため，GPUのコア数に比べて計算粒度が少ないことであった．本年度の調査と昨年度の研究成果より，B/F値が高く，コア数の少ないベクトル型プロセッサが本プログラムを効率的に動作できるアーキテクチャであることが明らかになった．
高速化技術の開発では，ベクトル型プロセッサにおいて命令レベルの分析を行った．その結果，論理演算パイプラインの負荷が高いことが判明した．このことより，昨年度計画したメモリ負荷低減の検討より，論理演算削減の手法について開発を行った．さらに，並列処理において本プログラムはMPI通信にばらつきがあることがわかり，MPI通信と演算のオーバーラップを実現する手法を開発した．
高速化実装と評価では，昨年度開発した，地形データに依存することなく演算量を均一化できる領域分割法を本プログラムに実装した． Xeon Gold，Xeon Phi，SX-Aurora TSUBASAで評価を行い，Xeon Goldでは1.5倍，Xeon PhiとSX-Aurora TSUBASAでは2倍の高速化を達成し，津波浸水被害の予測時間を大幅に短縮することに成功した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，当初計画に含まなかったGPUへのプログラム移植と性能解析を実施したが，予定通りに，システムアーキテクチャの検討，高速化技術の開発，高速化実装と評価を行った．
システムアーキテクチャの検討においてGPUの評価を行い，昨年度の評価と合わせて，ほぼ国内で稼働しているスーパーコンピュータのアーキテクチャの評価を実施することができた．また，昨年度の研究結果と本年度の成果より，本プログラムに適したアーキテクチャを明らかにすることができた．
高速化技術の開発においては命令レベルの高速化と並列処理の高速化を検討した．命令レベルの高速化では，命令頻度を調査し，その命令による演算器の稼働率を解析した．その結果，論理演算パイプラインが律速になっていることが明らかになった．そして，論理演算を削減する手法として，海洋と遡上領域を分割する手法を検討した．また，並列化では，MPI通信の分析を実施し，MPI通信の隠蔽手法を検討した．具体的には，本プログラムはプロセスによってMPI通信量に大きなばらつきがあるので，OpenMPを使ってデータ通信を集約してばらつきを軽減し，かつMPI通信を演算で隠蔽する手法を検討した．
高速化実装と評価では，昨年度開発した地形データに依存することなく演算量を均一化できる領域分割法を本プログラムに実装し，性能評価を実施した．実装にあたっては，地形の形状に合わせた計算格子から演算量を算出し，領域分割を行う格子点を求める領域分割ツールを開発し，そのツールの出力結果を用いてプログラムのプロセス分割を行うようにした．その結果，1.5倍から2倍の性能向上を得ることができた．
以上，当初計画よりGPUの評価・分析が増えたため，メモリ負荷低減についての検討は行えなかったが，その他は予定通り研究をすすめることができた．
|
| Strategy for Future Research Activity |
来年度は，本年度に検討した，論理演算の削減手法とMPI通信の隠蔽手法をプログラムに実装して評価を行う．また，これら実装後のプログラム性能を解析して，さらなる高速化手法を検討する．
論理演算の削減手法では，海洋と遡上領域を分割してシミュレーションすることによって論理演算を削減する．海洋と遡上領域を分割するためには，シミュレーションを行う地域ごとに，断層運動による土地の隆起と沈降，また，潮汐現象を考慮して，地形データの海洋と遡上領域の分割が必要になる．来年度は南海トラフ領域の地形データを調査して，海洋と遡上領域の分割を検討する．そして，プログラムへの実装は分割された海洋と遡上領域を計算するモジュールを開発する．開発したプログラムの性能評価は，Intel Xeon Gold，Xeon Phi，SX-Aurora TSUBASAで実施する．
MPI通信の隠蔽は，OpenMPとMPIによるハイブリッド並列化で実現する．スレッド並列では，1つのスレッドが演算とMPI通信を担当し，残りのスレッドが演算を担当するように並列化を行う．この方式によってMPI通信の隠蔽を実現する．演算量と通信量はシミュレーションを行う地域によって大きく変わるため，来年度は南海トラフ領域をターゲットとして取り組む．また，実装するシステムはSX-Aurora TSUBASAとする．
以上の実装を行った上で再度プログラムの性能を解析し改善点等の検討を行う．来年度が本研究の最終年度になるため，3年間の研究をまとめ，そして，その反省を踏まえて今後の研究の方向性の検討と研究計画を立案する．
|
| Causes of Carryover |
本年度は，当初予定していた支出より36万円少なくなった．それは，国際学会への参加ができなくなったことによる．
来年度は，当初の計画の通り，スーパーコンピュータのマシン費，シミュレーション結果を保存するストレージ費，及び研究成果を発表するための出張費と学会参加費の支出を予定している．そして，今年度繰り越した費用をマシン費に充当して，評価時間を長くする予定である．
|
