An adaptive resource management framework for In-situ workflows
Project/Area Number |
20K19808
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 60090:High performance computing-related
|
Research Institution | Tohoku University (2021-2022) Nara Institute of Science and Technology (2020) |
Principal Investigator |
高橋 慧智 東北大学, サイバーサイエンスセンター, 助教 (40846408)
|
Project Period (FY) |
2020-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
Keywords | In-situワークフロー / In-situ可視化 / ワークフロー / ヘテロジニアスコンピューティング / オーケストレーション / 資源管理 / 性能計測 / In-situ処理 / 負荷分散 / 並列分散計算 |
Outline of Research at the Start |
次世代のスーパコンピュータではストレージI/O性能の不足が深刻化するため,ストレージを介さず,シミュレーションや可視化アプリケーション間で直接データを授受するIn-situ処理が注目されている.In-situ処理のスループット最大化のためには,各アプリケーション間でスループットが均等になるよう計算資源を配分することが不可欠である.本研究では,In-situ処理において各アプリケーションへ計算資源を動的かつ自動的に配分するフレームワークを構築する.
|
Outline of Annual Research Achievements |
昨年度まで,主としてシミュレーションや可視化ツール等のIn-situ処理を構成する各アプリケーションが同種のプロセッサ上で実行されることを前提としていた.しかし,現在のHPCシステムではGPU搭載のHPCシステムに代表されるように,1つの計算ノード内に性能特性が異なる異種のプロセッサを複数搭載したヘテロジニアス構成を採用することが一般的となっている. そこで,今年度は新たな課題として,ヘテロジニアスシステムにおけるIn-situ処理の実現に取り組んだ.具体的には,スカラ処理に適したx86プロセッサと,ベクトル処理に適したベクトルプロセッサを搭載したNEC SX-Aurora TSUBASA (SX-AT) システムに着目し,In-situ処理に対応したI/OミドルウェアであるAdaptable Input/Output System version 2 (ADIOS2) をSX-ATに移植した.加えて,昨年度までに開発したミニアプリ群 (3次元反応拡散系のシミュレーションとその結果を可視化・分析するためのアプリケーション) もSX-ATへ移植した.その結果,シミュレーション処理をベクトルプロセッサ上で,可視化処理をx86プロセッサ上でそれぞれ実行し,SX-ATが提供する異種プロセッサ間でMPI通信を実現する機能であるVector-Scalar Hybrid MPIを用いてアプリケーション間でシミュレーション結果をリアルタイムに授受し,In-situ処理を実現することに成功した. 性能評価の結果,シミュレーションをベクトルプロセッサ上で,可視化処理をスカラプロセッサ上で動作させた方が,両方をスカラまたはベクトルプロセッサ上で動作させた場合に比べ,高い性能を達成できることが示された.研究成果であるSX-ATに移植したADIOS2は研究代表者のGitHubにおいて公開している.
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究開始当初はIn-situ処理を構成する各アプリケーションが同種のプロセッサ上で実行されることを想定していたが,最新のHPCシステムの動向を調査した結果,シミュレーションと可視化・解析処理はそれぞれ異種のプロセッサ上で実行されることがより一般的であることが明らかになった.そのため,今年度は異種のプロセッサを搭載したヘテロジニアスなシステムにおいてIn-situワークフローを実現するためのソフトウェアの構築および移植の作業に集中して取り組んだ.そのため,当初の計画よりも進捗がやや遅延している. また,新型コロナウィルス感染症の影響により研究協力者である海外研究機関の研究者らと対面の研究打ち合わせを実施できておらず,コミュニケーションが困難となっていることも遅延の一因となっている.
|
Strategy for Future Research Activity |
今年度達成できなかった「課題3. ワークフローの再構成」に取り組み,提案フレームワークを完成をさせる.フレームワークが完成次第,有用性の評価と研究成果の取りまとめを行う.評価にあたっては,本年度の成果によりSX-Aurora TSUBASAシステム上でIn-situワークフローを実現可能になったことから,SX-ATシステムを用いて評価実験を実施する.
|
Report
(3 results)
Research Products
(8 results)