• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Job management system with dynamic traffic control functionality

Research Project

Project/Area Number 21K11912
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 60090:High performance computing-related
Research InstitutionOsaka University

Principal Investigator

伊達 進  大阪大学, サイバーメディアセンター, 教授 (20346175)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywordsスケジューラ / DTN / ジョブ管理システム / 動的トラフィック制御 / Data Centric
Outline of Research at the Start

本研究では、システム外部のIoTセンサ等のデータ源から生成・取得される最新データをオンデマンドに活用する高性能計算(High Performance Computing: HPC)および高性能データ分析(High Performance Data Analysis: HPDA)を実行可能な高性能計算環境の実現を目指し、プロセッサ資源とネットワーク資源を対象としたHPC・HPDA融合計算基盤向け資源制御管理フレームワークを実現する。

Outline of Annual Research Achievements

本研究では、システム外部のIoTセンサ等のデータ源から生成・取得される最新データをオンデマンドに活用する高性能計算(High Performance Computing: HPC)および高性能データ分析(High Performance Data Analysis: HPDA)を実行可能な高性能計算環境の実現を目指し、プロセッサ資源とネットワーク資源を対象としたHPC・HPDA融合計算基盤向け資源制御管理フレームワークを実現する。具体的には、今日の高性能計算機システムの有するデータ移動および計算実行の非連動性を解消する、ユーザの分散並列処理要求に対応した計算資源、および、計算ジョブの実行前後に発生しうる高性能計算機システム内部と外部のストレージ間のデータ移動に伴うネットワーク資源を統合的かつ一元的に制御・管理するトラフィック動的制御機能配備型ジョブ管理システムを中核技術として開発する。本目的のために、2023年度は、ジョブ開始実行時間直前に、最新データをシステムに配置するようにするためにはより正確なジョブ実行時間が必要であることから、実際の高性能計算機システムのログを元に、機械学習を応用して、利用者の投入するジョブ要求に記載されたジョブ実行時間から実際のジョブ時間を推定する手法について検証・確認を進めた。当該手法について検証を進めた結果、利用者のジョブスクリプトに記載されたファイル名などの情報から、ジョブ実行時間の推定精度が向上することが判明した。一方で、今日の高性能計算機システムの有するデータ移動および計算実行の非連動性の達成のためには、さらなる推定精度の向上が必要であることがわかった。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

プロセッサ・ネットワーク資源統合スケジューリングモデル・手法の考案・実装に伴い、高性能計算機システムにおけるジョブ実行開始時間を機械学習によって高精度な予測が可能になることにより、大幅にシステム利用効率およびジョブ待ち時間の短縮につながりうる可能性があることを判明したことに伴い、2023年度は機械学習を応用したスケジューリング手法の実現可能性についての調査を行った。しかし、精度向上については確認できたものの、当初予定したほど有効な精度向上が見込めなかった。そのため、やや遅れているというステータスである。

Strategy for Future Research Activity

前半期に引き続き利用者の投入するジョブ要求に記載されたジョブ実行時間から実際のジョブ時間を推定する手法について調査を行いながら、提案手法の実装を行う。

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (5 results)

All 2023 2022 2021

All Presentation (5 results) (of which Int'l Joint Research: 4 results)

  • [Presentation] Adaptive Job Scheduler Leveraging Deep Reinforcement Learning for Cloud-bursting Environment”2023

    • Author(s)
      Susumu Date, Shingo Kawamoto, Takeo Hosomi, Akihiro Yamashita, Seiji Yasuda, Lee Chonho
    • Organizer
      NUG Society Meeting XXXIV(NUG2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] HPCジョブ開始時刻予測に向けた機械学習によるジョブ実行時間推定の実現性及び推定精度の検証2023

    • Author(s)
      和田 哲也,遠藤新,伊達 進
    • Organizer
      第159回システムソフトウェアとオペレーティング・システム研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] Osaka University’s Data Aggregation Infrastructure for Supporting Data-intensive Science2022

    • Author(s)
      Susumu Date
    • Organizer
      34th Workshop on Sustained Simulation Performance
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Research Experiences of an On-Time Data Transfer Framework in Cooperation with Scheduler System and Future Directions2022

    • Author(s)
      Susumu Date
    • Organizer
      The 3rd Global Research Platform Workshop (3GRP)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Architecture of an On-time Data Transfer Framework in Cooperation with Scheduler System2021

    • Author(s)
      Kohei Yamamoto, Arata Endo, Susumu Date
    • Organizer
      18th Annual IFIP International Conference on Network and Parallel Computing
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi