2021 Fiscal Year Research-status Report
An adaptive resource management framework for In-situ workflows
| Project/Area Number |
20K19808
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
高橋 慧智 東北大学, サイバーサイエンスセンター, 助教 (40846408)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | In-situワークフロー / In-situ可視化 / ワークフロー / オーケストレーション / 資源管理 |
|---|
| Outline of Annual Research Achievements |
高性能計算システムにおけるストレージボトルネックを回避するため，ストレージを介さず，シミュレーションや可視化アプリケーション間で直接データを授受するIn-situ処理が注目されている．In-situ処理のスループットおよび資源利用率の最大化のためには，各アプリケーション間でスループットが均等になるように計算資源を配分することが不可欠である．本研究では，In-situ処理において各アプリケーションへ計算資源を自動的に配分するフレームワークの構築を目指している．
今年度は研究計画にしたがい，「課題2. 計算資源配分の決定」および「課題3. ワークフローの再構成」に取り組んだ．まず計算資源配分をアプリケーション間で動的に配分するアルゴリズムの開発のため，モデルとなるIn-situワークフローを開発した．具体的には，3次元反応拡散系のシミュレーション，および，シミュレーション結果をリアルタイムに可視化する複数のアプリケーション (等値曲面の抽出・可視化, 断面の可視化, 要約統計量の算出など) を開発し，昨年度開発した性能計測システムを用いて様々な資源配分の下で各アプリケーションの性能情報を収集した．得られた性能情報を分析するとともに，オートスケーリングやストリーミング処理に関する研究の文献調査を実施し，計算資源配分アルゴリズムを設計した．また，計算資源配分を動的に変更するためのワークフロー再構成手法を検討し，実現に向けた課題を整理した．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
「課題3. ワークフローの再構成」の達成に向けてプロトタイプを用いた実験を実施したところ，当初想定していた再構成手法では性能・使用性ともに問題があることが判明した．また，HPCシステムに配備されている相互結合網およびジョブスケジューラによっては動作しない場合があることが判明したため，再構成手法を再検討しており，進捗状況が研究計画よりも遅れている．
|
| Strategy for Future Research Activity |
引き続きワークフローの再構成手法を比較検討し，提案フレームワークの完成を目指す．あらゆる相互結合網およびジョブスケジューラ上で動作する汎用的な手法の実現は困難なため，必要によっては相互結合網およびジョブスケジューラを限定することを検討する．これは実装上の制約のため，研究の目的・意義には影響ないと考えている．フレームワークが完成次第，有用性の評価と研究成果の取りまとめを行う．
|
| Causes of Carryover |
新型コロナウィルス感染症の感染拡大により海外渡航・国内移動が困難となり，参加を予定していた全ての国際会議・国内会議にリモート参加したため，旅費を使用しなかった．また，研究計画に遅れが生じたため本年度に購入を予定していた実験機材を購入しなかった．徐々に国内外への移動が可能になっていることから，次年度は旅費の使用が増加することを想定している．また，評価実験を拡充させるため，実験機材を増強させる予定である．
|
