2020 Fiscal Year Research-status Report
An adaptive resource management framework for In-situ workflows
| Project/Area Number |
20K19808
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
高橋 慧智 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (40846408)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | In-situワークフロー / 性能計測 / オーケストレーション |
|---|
| Outline of Annual Research Achievements |
エクサスケールの高性能計算機ではストレージI/Oが深刻なボトルネックになると危惧されているため，ストレージを介さず，シミュレーションや可視化アプリケーション間で直接データを授受するIn-situ処理が注目されている．In-situ処理のスループット最大化のためには，各アプリケーション間でスループットが均等になるよう計算資源を配分することが不可欠である．本研究では，In-situ処理において各アプリケーションへ計算資源を動的かつ自動的に配分するフレームワークの構築を目指し，研究開発に取り組んでいる．
今年度は，「課題1. ワークフローの性能計測」に取り組んだ．具体的には，ワークフローを構成する各アプリケーションに計装処理を注入し，シミュレーションの時間ステップ毎に，入出力データ量，入力データの処理時間，入出力データの送受信時間等の性能情報を計測・集約するシステムを開発した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は，「課題1. ワークフローの性能計測」に取り組み，ワークフローの性能情報をリアルタイムに計測するためのライブラリと，性能情報を集約・蓄積するためのシステムを試作した．自作した小規模なベンチマークを用い，シミュレーションの時間ステップ毎に，入出力データ量，入力データの処理時間，入出力データの送受信時間等の性能情報が計測可能であることを確認した．以上より，概ね順調に進展していると判断した．
|
| Strategy for Future Research Activity |
今年度は概ね当初の計画通り順調に研究開発が進展したため，次年度以降も研究計画に基づき研究開発を進める．次年度以降は，「課題2. 計算資源配分の決定」ならびに「課題3. ワークフローの再構成」に取り組む予定である．課題2では，今年度に開発した性能計測機能が収集した性能情報の履歴を分析し，a. 資源配分の変更の有無，および，b. 各アプリケーションへの最適な計算資源の配分を決定する手法を探る．また，課題3では，計算資源の再配分が必要であると判断された際に，各アプリケーションに割り当てるプロセス数を変更し，新たな資源配分を反映するための基盤を作成する．
|
| Causes of Carryover |
コロナ禍により関連研究調査のため参加を予定していた国際学会への参加が不可能となり，旅費を使用しなかった．次年度以降，国際会議への参加が可能になれば使用する予定である．
また，開発作業のため性能評価用サーバと統合開発環境の購入を予定していたが，開発の初期段階では学内の共用計算機により代用できたため，本年度は購入しなかった．次年度以降，さらなる開発作業の進展にあわせて購入する予定である．
|
