• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

An adaptive resource management framework for In-situ workflows

Research Project

Project/Area Number 20K19808
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 60090:High performance computing-related
Research InstitutionTohoku University (2021-2023)
Nara Institute of Science and Technology (2020)

Principal Investigator

高橋 慧智  東北大学, サイバーサイエンスセンター, 助教 (40846408)

Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywordsヘテロジニアスコンピューティング / In-situ可視化 / In-situワークフロー / 資源管理 / ワークフロー / オーケストレーション / 性能計測 / In-situ処理 / 負荷分散 / 並列分散計算
Outline of Research at the Start

次世代のスーパコンピュータではストレージI/O性能の不足が深刻化するため,ストレージを介さず,シミュレーションや可視化アプリケーション間で直接データを授受するIn-situ処理が注目されている.In-situ処理のスループット最大化のためには,各アプリケーション間でスループットが均等になるよう計算資源を配分することが不可欠である.本研究では,In-situ処理において各アプリケーションへ計算資源を動的かつ自動的に配分するフレームワークを構築する.

Outline of Annual Research Achievements

本年度は,これまでにNEC SX-Aurora TSUBASA (SX-AT) システムへ移植したIOミドルウェアAdaptable Input/Output System version 2 (ADIOS2) とIn-situワークフロー (3次元反応拡散系のシミュレーションとその結果を可視化・分析するアプリケーション群) を活用し,SX-ATシステム上でIn-situワークフローの性能分析とモデル化を実施した.SX-ATはスカラ処理に適したx86プロセッサとベクトル処理に適したベクトルプロセッサを搭載したヘテロジニアスなシステムである.
評価では,シミュレーションをスカラプロセッサとベクトルプロセッサのいずれかで実行した場合を比較した.また,ワークフローを構成するアプリ間の通信方法としてファイルを介する方法とメモリを介する方法を比較した.その結果,出力データのサイズが大きい場合には,シミュレーションをベクトルプロセッサで実行しメモリベースの通信を採用した場合が最もワークフローの実行時間が短いことが明らかになった.一方,出力データのサイズが小さい場合には,ADIOS2に由来するオーバーヘッドのためファイルベースの通信の方が実行時間が短かった.この結果から,ヘテロジニアスなシステムにおけるワークフローの資源割当では,プロセッサの種別やコア数に加えて,出力データのサイズも考慮する必要があることが明らかになった.さらに,3次元反応拡散系のシミュレーションに加えて,格子ボルツマン法に基づく流体力学シミュレーションを移植し,同様の結論が得られた.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

最新の技術動向を反映して昨年度に想定環境をホモジニアスなシステムから異種のプロセッサを搭載したヘテロジニアスなシステムをへ変更したため,ヘテロジニアスなシステムであるSX-ATへのソフトウェアスタックの移植に時間を要し,当初の計画よりも進捗が遅延している.

Strategy for Future Research Activity

今年度明らかにしたSX-ATシステムにおけるIn-situワークフローの性能特性を考慮し,SX-ATシステムにおけるワークフロー再構成の実現に取り組む.提案フレームワークを完成をさせ,その有用性の評価と研究成果の取りまとめを行う.評価にあたっては,これまでにSX-ATへ移植した3次元反応拡散系アプリケーション,格子ボルツマン法アプリケーション,可視化アプリケーション,ならびにそれらをワークフローとして結合するADIOS2ミドルウェアを使用する.

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (14 results)

All 2024 2023 2022 2021 2020 Other

All Int'l Joint Research (3 results) Journal Article (4 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 4 results,  Open Access: 2 results) Presentation (6 results) (of which Int'l Joint Research: 5 results,  Invited: 1 results) Remarks (1 results)

  • [Int'l Joint Research] Oak Ridge National Laboratory(米国)

    • Related Report
      2023 Research-status Report
  • [Int'l Joint Research] Oak Ridge National Laboratory(米国)

    • Related Report
      2022 Research-status Report
  • [Int'l Joint Research] Oak Ridge National Laboratory(米国)

    • Related Report
      2020 Research-status Report
  • [Journal Article] Toward Scalable Empirical Dynamic Modeling2024

    • Author(s)
      Keichi Takahashi, Kohei Ichikawa, Gerald M. Pao
    • Journal Title

      Sustained Simulation Performance 2022

      Volume: - Pages: 61-69

    • DOI

      10.1007/978-3-031-41073-4_5

    • ISBN
      9783031410727, 9783031410734
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Scalable Empirical Dynamic Modeling With Parallel Computing and Approximate k-NN Search2023

    • Author(s)
      Keichi Takahashi, Kohei Ichikawa, Joseph Park, Gerald M. Pao
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 68171-68183

    • DOI

      10.1109/access.2023.3289836

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Multi-Objective Optimization of Controller Placement in Distributed ONOS Networks2023

    • Author(s)
      Kang Xingyuan, Keichi Takahashi, Chawanat Nakasan, Kohei Ichikawa, Hajimu Iida
    • Journal Title

      2023 Eleventh International Symposium on Computing and Networking (CANDAR)

      Volume: - Pages: 76-85

    • DOI

      10.1109/candar60563.2023.00017

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Performance Evaluation of a Next-Generation SX-Aurora TSUBASA Vector Supercomputer2023

    • Author(s)
      Keichi Takahashi, Soya Fujimoto, Satoru Nagase, Yoko Isobe, Yoichi Shimomura, Ryusuke Egawa, and Hiroyuki Takizawa
    • Journal Title

      Lecture Notes in Computer Science

      Volume: 13948 Pages: 359-378

    • DOI

      10.1007/978-3-031-32041-5_19

    • ISBN
      9783031320408, 9783031320415
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] Performance Evaluation of File-based and Memory-based Workflows on a Heterogeneous Vector System2023

    • Author(s)
      Yutsen Tseng
    • Organizer
      第247回システム・アーキテクチャ・第192回ハイパフォーマンスコンピューティング合同研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] Challenges in Scaling Empirical Dynamic Modeling2022

    • Author(s)
      Keichi Takahashi and Gerald Pao
    • Organizer
      34th Workshop on Sustained Simulation Performance (WSSP34)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Sparse Communication for Federated Learning2022

    • Author(s)
      Thonglek Kundjanasith、Takahashi Keichi、Ichikawa Kohei, Nakasan Chawanat, Leelaprute Pattara, and Iida Hajimu
    • Organizer
      IEEE 6th International Conference on Fog and Edge Computing (ICFEC)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Comparative Performance Study of Lightweight Hypervisors Used in Container Environment2021

    • Author(s)
      Guoqing Li, Keichi Takahashi, Kohei Ichikawa, Hajimu Iida, Pree Thiengburanathum, Passakorn Phannachitta
    • Organizer
      11th International Conference on Cloud Computing and Services Science (CLOSER 2021)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] kEDM: A Performance-portable Implementation of Empirical Dynamic Modeling using Kokkos2021

    • Author(s)
      Keichi Takahashi, Wassapon Watanakeesuntorn, Kohei Ichikawa, Joseph Park, Ryousei Takano, Jason Haga, George Sugihara, Gerald M. Pao
    • Organizer
      Practice & Experience in Advanced Research Computing (PEARC 2021)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Massively Parallel Causal Inference of Whole Brain Dynamics at Single Neuron Resolution2020

    • Author(s)
      Wassapon Watanakeesuntorn, Keichi Takahashi, Kohei Ichikawa, Joseph Park, George Sugihara, Ryousei Takano, Jason Haga, Gerald M. Pao
    • Organizer
      26th International Conference on Parallel and Distributed Systems (ICPADS 2020)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Remarks] ADIOS2 for SX-Aurora TSUBASA

    • URL

      https://github.com/keichi/ADIOS2/tree/ve-port

    • Related Report
      2022 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi