• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

ワークフローエンジンとの連携に基づく臨機応変なジョブスケジューリングの実現

研究課題

研究課題/領域番号 24K02945
研究種目

基盤研究(B)

配分区分基金
応募区分一般
審査区分 小区分60090:高性能計算関連
小区分60040:計算機システム関連
合同審査対象区分:小区分60040:計算機システム関連、小区分60090:高性能計算関連
研究機関東北大学

研究代表者

滝沢 寛之  東北大学, サイバーサイエンスセンター, 教授 (70323996)

研究分担者 片桐 孝洋  名古屋大学, 情報基盤センター, 教授 (40345434)
佐野 健太郎  国立研究開発法人理化学研究所, 計算科学研究センター, チームリーダー (00323048)
研究期間 (年度) 2024-04-01 – 2027-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
18,460千円 (直接経費: 14,200千円、間接経費: 4,260千円)
2026年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
2025年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
2024年度: 7,670千円 (直接経費: 5,900千円、間接経費: 1,770千円)
キーワードWorkflow Management / Job Scheduling / Urgent Computing / On-demand Job Execution / ワークフロー / ジョブスケジューリング
研究開始時の研究の概要

現代の科学技術計算においては、数値シミュレーションを単独で実行するだけではなく、そのプリ処理・ポスト処理に加えて機械学習によるデータ解析など、異種複数のジョブが協調動作するワークフローの効率的実行が求められる。このため、スーパーコンピュータの動的な状況変化に合わせて、多様なワークフローに対して適切な計算資源を臨機応変に割当てるジョブスケジューリング技術の確立を目指す。臨機応変な対応が求められる防災減災分野を想定し、実運用に必要な要素技術を研究開発する。その結果、システム全体としての計算資源利用効率を落とすことなく、実行優先度の高いジョブの緊急実行などの動的な要因への迅速な対応も実現する。

研究実績の概要

本研究では、スーパーコンピュータの動的な状況変化に合わせて、多様なワークフローに対して適切な計算資源を臨機応変に割当てるジョブスケジューリング技術の確立を目指している。臨機応変な対応が求められる防災減災分野を想定し、実運用に必要な要素技術を研究開発する。
令和6年度には、バッチジョブスケジューラで管理されたスーパーコンピュータ上でのワークフロー実行時間の短縮を実現するため、クリティカルパスを考慮したワークフロータスクの割当手法を提案した。また、防災減災のためのワークフローをジョブスケジューラを連携して緊急実行するため、ExpressHPCフレームワークの開発に着手した。さらには、津波シミュレーションコードをGPUシステムにも移植し、より多様なスーパーコンピュータ上で緊急ワークフローを実行するための準備を順調に進めている。
また、最大被覆問題やサポートベクターマシンなどの典型的な組合せ最適化問題に対して、国内の複数の疑似量子アニーラを用いて実行時間と解の品質の観点での性能評価を行った。また、疑似量子アニーラの性能パラメタに対するチューニングを、ベイズ最適化による最適化を実施し、その効果の検証を行った。さらに,量子アニーラで必要とされる性能パラメタのチューニングにおいてベイズ最適化をより効率的に行う手法の提案を行った。一方、新たな組合せ最適化問題の応用事例として、大気海洋コードのループ最適化に関する基礎評価を行った。
さらに、実用的ワークフローの例を調査し、理化学研究所の大型放射光施設SPring-8で用いられる次世代センサーCITIUSは20 Kfpsを超えるフレームレートが可能であり、センサモジュールあたり7.0 Gピクセル毎秒を超える高データレートに対して統計処理などを行う必要があることが明らかになった。

現在までの達成度
現在までの達成度

2: おおむね順調に進展している

理由

緊急ワークフロー実行のためのスケジューリング手法を提案して査読付き論文に採択されるなど、学術的な成果を順調に発表できている。また、量子アニーリングやその関連技術を組合せ最適化問題の高速化に適用して評価する基礎研究も、計画通り進展した。それに加えて、津波シミュレーションコードのGPUへの移植や、緊急ジョブ実行フレームワークの開発を開始するなど、ソフトウェア開発も順調に進捗している。
さらには、実用的なワークフローの設計とそれに基づく評価のために、SPring-8に関してそのセンサースペックやセンサー近傍で行われる処理を調査し、具体的な要求性能を明確化できた点でも順調に進捗している。

今後の研究の推進方策

ワークフローの緊急実行のためのジョブスケジューリングに関しては、スケジューリングアルゴリズムのさらなる高度化を進めるとともに、ExpressHPCに組み込んで複数のスーパーコンピュータを使った実証実験を行うことを計画している。また、最適化問題を解くための量子アニーラの性能パラメタ最適化手法の性能評価をさらに進め、手法の改良を行うとともに、ジョブスケジューラのデータに提案手法を適用して、有効性を評価する。さらには、SPring-8でのワークフローを参考にして東北大学サイバーサイエンスセンターとNanoTerasuとの間で大規模データ処理のワークフローを構築し、本研究の実証実験や評価に用いることも検討している。

報告書

(1件)
  • 2024 実施状況報告書
  • 研究成果

    (20件)

すべて 2025 2024

すべて 雑誌論文 (7件) (うち国際共著 1件、 査読あり 6件、 オープンアクセス 6件) 学会発表 (13件) (うち国際学会 10件、 招待講演 9件)

  • [雑誌論文] Leveraging Hardware Performance Counters for Predicting Workload Interference in?Vector Supercomputers2025

    • 著者名/発表者名
      Shubham、Takahashi Keichi、Takizawa Hiroyuki
    • 雑誌名

      Lecture Notes in Computer Science

      巻: 15502 ページ: 553-565

    • DOI

      10.1007/978-981-96-4207-6_50

    • ISBN
      9789819642069, 9789819642076
    • 関連する報告書
      2024 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Improving the Efficiency of a Deep Reinforcement Learning-Based Power Management System for HPC Clusters Using Curriculum Learning2025

    • 著者名/発表者名
      Thomas Budiarjo, Santana Yuda Pradata, Kadek Gemilang Santiyuda, Muhammad Alfian Amrizal, Reza Pulungan, Hiroyuki Takizawa
    • 雑誌名

      Supercomputing Asia 2025

      巻: -

    • 関連する報告書
      2024 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Workflow Batch Job Scheduling with Considering Task Dependencies2025

    • 著者名/発表者名
      Kaito Yanai, Keichi Takahashi, Yoichi Shimomura, and Hiroyuki Takizawa
    • 雑誌名

      Workshop on Job Scheduling Strategies for Parallel Processing

      巻: -

    • 関連する報告書
      2024 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Performance Evaluation of Loop Body Splitting for Fast Modal Filtering in SCALE-DG on A64FX2025

    • 著者名/発表者名
      Xuanzhengbo Ren, Yuta Kawai, Hirofumi Tomita, Seiya Nishizawa, Takahiro Katagiri, Tetsuya Hoshino, Daichi Mukunoki, Masatoshi Kawai, Toru Nagai
    • 雑誌名

      Proceedings of the 2025 International Conference on High Performance Computing in Asia-Pacific Region Workshops

      巻: - ページ: 36-44

    • DOI

      10.1145/3703001.3724385

    • 関連する報告書
      2024 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Modernizing an Operational Real-Time Tsunami Simulator to Support Diverse Hardware Platforms2024

    • 著者名/発表者名
      Takahashi Keichi、Abe Takashi、Musa Akihiro、Sato Yoshihiko、Shimomura Yoichi、Takizawa Hiroyuki、Koshimura Shunichi
    • 雑誌名

      2024 IEEE International Conference on Cluster Computing (CLUSTER)

      巻: - ページ: 414-425

    • DOI

      10.1109/cluster59578.2024.00043

    • 関連する報告書
      2024 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A QA-Assisted Job Scheduler for Minimizing the Impact of Urgent Computing on HPC System Operation2024

    • 著者名/発表者名
      Ohmura Tatsuyoshi、Takahashi Keichi、Egawa Ryusuke、Takizawa Hiroyuki
    • 雑誌名

      2024 Twelfth International Symposium on Computing and Networking Workshops (CANDARW)

      巻: - ページ: 197-203

    • DOI

      10.1109/candarw64572.2024.00039

    • 関連する報告書
      2024 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] HPC システム用ウェブポータルにおけるジョブスケジューラの抽象化2024

    • 著者名/発表者名
      谷澤悠太, 高橋慧智, 下村陽一, 滝沢寛之
    • 雑誌名

      研究報告ハイパフォーマンスコンピューティング (HPC)

      巻: 2024-HPC-195

    • 関連する報告書
      2024 実施状況報告書
  • [学会発表] Trends in Auto-Tuning Research for Quantum Annealing2025

    • 著者名/発表者名
      Takahiro Katagiri
    • 学会等名
      2025 Conference on Advanced Topics and Auto Tuning in High-Performance Scientific Computing (ATAT25)
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Adaptation of Auto-Tuning to Quantum Annealers2025

    • 著者名/発表者名
      Makoto Morishita, Takahiro Katagiri
    • 学会等名
      2025 Conference on Advanced Topics and Auto Tuning in High-Performance Scientific Computing (ATAT25)
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Advanced resource management for urgent job execution in Connected Supercomputing2025

    • 著者名/発表者名
      Hiroyuki Takizawa
    • 学会等名
      2025 Conference on Advanced Topics and Auto Tuning in High-Performance Scientific Computing (ATAT25)
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Development of a Real-Time 3D X-ray Ptychography Workflow Using Surrogate Models2025

    • 著者名/発表者名
      Ryota Koda, Keichi Takahashi, Hiroyuki Takizawa, Nozomu Izuguro, Yukio Takahashi
    • 学会等名
      2025 Conference on Advanced Topics and Auto Tuning in High-Performance Scientific Computing (ATAT25)
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Utilizing Hardware Performance Counters to Forecast Workload Interference in Vector Supercomputer2025

    • 著者名/発表者名
      Shubham, keichi Takahashi, Hiroyuki Takizawa
    • 学会等名
      2025 Conference on Advanced Topics and Auto Tuning in High-Performance Scientific Computing (ATAT25)
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] ExpressHPC: Towards "connected supercomputing" enabling on-demand job execution for disaster resilience2024

    • 著者名/発表者名
      H. Takizawa, T. Ohmura, K. Takahashi, Y. Shimomura, R. Egawa, Y. Sato, J. Yoshino, A. Musa, and S. Koshimura
    • 学会等名
      SC24 Combined Workshop on Interactive and Urgent HPC
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] New Strategies at Tohoku University Cyberscience Center2024

    • 著者名/発表者名
      Hiroyuki Takizawa
    • 学会等名
      Workshop on Sustained Simulation Performance 38
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] ワークフローエンジンとの連携に基づく臨機応変なジョブスケジューリングの実現2024

    • 著者名/発表者名
      滝沢寛之
    • 学会等名
      自動チューニング技術の現状と応用に関するシンポジウム(ATTA2024)
    • 関連する報告書
      2024 実施状況報告書
  • [学会発表] Introduction of AOBA-S: The world’s largest SX-Aurora TSUBASA system operating at Tohoku University2024

    • 著者名/発表者名
      Hiroyuki Takizawa
    • 学会等名
      NEC User Group Society Meeting XXXV
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Operational experience of the latest-generation SX-Aurora TSUBASA system, AOBA-S2024

    • 著者名/発表者名
      Hiroyuki Takizawa
    • 学会等名
      Workshop on Sustained Simulation Performance 37
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Connected Supercomputing with on-demand job execution for disaster mitigation and more…2024

    • 著者名/発表者名
      Hiroyuki Takizawa
    • 学会等名
      Reality in Science, Art, and the Humanities
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] スパコンAOBA-Sの性能評価と将来計画2024

    • 著者名/発表者名
      滝沢寛之
    • 学会等名
      太陽地球環境シミュレーション研究会
    • 関連する報告書
      2024 実施状況報告書
    • 招待講演
  • [学会発表] タスク間の依存関係を考慮したワークフローのバッチジョブスケジューリング2024

    • 著者名/発表者名
      柳井 快斗, 高橋 慧智, 下村 陽一, 滝沢 寛之
    • 学会等名
      xSIG 2024
    • 関連する報告書
      2024 実施状況報告書

URL: 

公開日: 2024-04-11   更新日: 2025-12-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi