2017 Fiscal Year Research-status Report
Development of the hybrid density functional theory on the real-space grid method and its implementation on massively parallel computers
| Project/Area Number |
17K05138
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
高橋 英明 東北大学, 理学研究科, 准教授 (10291436)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 実空間密度汎関数法 / HF交換エネルギー / 超並列化 / ポアソン方程式 / FFT / MPI |
|---|
| Outline of Annual Research Achievements |
実空間グリッドを基底とする電子密度汎関数法において、HFの交換エネルギーを並列化する方法には２通りある。１つは、KS-DFTの軌道の全対の積を並列計算機のノードに分配し、それらの積の作る静電ポテンシャルをFFT法によって計算する方法であり、もう１つは軌道のペアの積をドメイン分割し、これらをノードに分配することによって、ポアソン方程式を局所演算によって解く方法である。以下、前者の方法を並列(A)、後者を並列(B)と参照する。
現在、上記の並列(A)および(B)の２つの実装が完了し、酢酸イオンと水分子４個からなる比較的小規模な系において数値的なテスト計算を実行したところであり、どちらの方法でも同等の結果を与えることが確認された。さらに、水分子19個からなる中規模サイズの分子クラスターについて、並列(B)の超並列計算をスパコンCrayXC30において実施した。フラットMPIの並列数は、64, 128, 256, および512である。我々にとって想定外であったのは、ポアソン方程式の２階微分に関わる所謂、袖領域の通信にかなり大きな時間がかかっていることである。実際、64個のCPUによる計算ではSCFの１ステップ当たり、約11.2 sもかかっている。 幸い、この時間は並列度とともに減少する傾向にあり、512個のCPUを用いる場合には約4.9 sまで減少する。しかし、これはあくまでも dragonfly topologyを有するスパコンの高速なネットワークを利用した場合の話であり、通常のクラスターの使用を想定する場合には全く十分とは言えない。今後、袖領域の通信方法について、その高速化を図る他、別の方法論も吟味する必要がある。
上記の開発に付随して、initial guessとなる波動関数をLCAO係数と基底関数の情報から実空間グリッド上に構築する方法とその並列化を実装した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
ポアソン方程式の２階微分を差分表現して、実空間実装する場合、各ノードは袖領域と呼ばれる情報を隣接するCPUと通信する必要がある。この領域の通信時間が、我々の想定を超えて大きいものであったことが、進捗の遅れの原因となっている。通信時間の具体的な解析は、以下の通り。CrayXC30の通信バンド幅は、我々のパケットのデータ量32KBにおいては、1.4 GBなので、1回の６方向の通信で137 マイクロ秒かかり、これをCGのiteration 100回行うと、13.7 ms. さらに、これを79個の軌道の全対について行うと、約43.3 sとなる。CGのiteration回数のデフォルト値を20回に設定するなどして、通信時間を8 s 程度まで減少させることが可能であるが、まだ十分とは言えない。
|
| Strategy for Future Research Activity |
上記の問題の抜本的な解決方法として、ドメイン分割によるポアソン方程式の並列化の高速化と平行して、FFTによる並列実装も視野に入れる。既往の研究において、３次元FFTの問題を実装上3次元の空間分割（実際には2次元分割）によって並列化する方法（以下、PFFTで参照）が既に開発されている。PFFTはGitHub上で公開されているため、これを利用して、ポアソン方程式を並列FFT計算によって解く方法を実装することが今後の主要な対応策となる。
|
| Causes of Carryover |
プログラム開発および実行用に購入したマルチコア型の計算機が購入計画時の金額よりも値下がりしたことが、4万8千円程度の次年度使用額が発生した主要な原因である。次年度に購入予定の並列計算機のメモリーを増強する為の資源として割り当てる計画である。
|
Research Products
(7 results)
