• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

機械学習を用いた自律型スマートHPCデータセンター

研究課題

研究課題/領域番号 19H04121
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分60090:高性能計算関連
研究機関東京大学

研究代表者

松葉 浩也  東京大学, 情報基盤センター, 客員研究員 (30444095)

研究分担者 高野 了成  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (10509516)
野村 哲弘  東京工業大学, 学術国際情報センター, マネジメント准教授 (30616602)
三浦 信一  国立研究開発法人理化学研究所, 計算科学研究センター, 技師 (50509974)
遠藤 敏夫  東京工業大学, 学術国際情報センター, 教授 (80396788)
滝澤 真一朗  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80550483)
研究期間 (年度) 2019-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2021年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円)
2020年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
2019年度: 6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
キーワードデータセンター / 運用 / 人工知能 / スケジューラ / ログ収集 / 強化学習 / ジョブスケジューリング / 最適化 / オーバーコミット / システムモデル / スーパーコンピュータ / 深層学習 / AI / 計算機運用 / 機械学習 / センサーデータ / スケジューリング / サイバーフィジカルシステム
研究開始時の研究の概要

本研究は、データセンターの運用を最適化する人工知能の開発を目指す。そのために、実運用されているスーパーコンピュータから得られる運用ログの解析と、データセンター全体のシミュレーションにより、データセンター全体の電力消費の状況を実際に試すことなくコンピュータの中の仮想空間で再現できる技術を確立する。この仮想空間で人工知能に運用方法を試行錯誤し学習させることで、この人工知能が運用について的確な判断を下せるようにすることを目指す。

研究成果の概要

データセンターの運用の自動化のため、データセンターからのデータを取得して仮想空間上に再現する方法と、その仮想空間上で運用ポリシーを最適化する方法を研究した。
前者のデータ取得については、機器によるデータフォーマットの違いやデータの用途に依存することなく、様々な運用に役立つ汎用的なデータを多くのデータセンターから収集できる一般的なデータフォーマットと保存形式を定義することに成功した。後者の運用最適化については、制御方法を自動的に学習する強化学習を用いてジョブスケジューリングを最適化することに成功すると共に、その学習の場としてスケジューリングや冷却設備のシミュレータを実装した。

研究成果の学術的意義や社会的意義

データセンターの運用はより少ない資源で多くの計算需要を満たすための高度な技術であり、スケジューリングポリシーの設定、計算機のメンテナンス、さらには電力空調設備の運用やメンテナンスを含む専門的に高度な業務である。近年の労働人口減少に伴い、このような運用業務に携わる人材の確保は容易でなく、今後、益々増大する計算需要を安定的に満たすためには運用の省力化、少人化は必須の課題である。本研究の成果はこの要請に応じるものであり、設備運用やジョブスケジューリングをシミュレーションで再現する方法、さらにそれを用いて人工知能に最適な運用を試行錯誤させる方法を開発したものである。

報告書

(4件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実績報告書
  • 2019 実績報告書
  • 研究成果

    (18件)

すべて 2021 2020 2019

すべて 学会発表 (18件) (うち国際学会 8件、 招待講演 1件)

  • [学会発表] ABCI 2.0: Advances in Open AI Computing Infrastructure at AIST2021

    • 著者名/発表者名
      Shinichiro Takizawa, Yusuke Tanimura, Hidemoto Nakada, Ryousei Takano, Hirotaka Ogawa
    • 学会等名
      IPSJ SIG Technical Reports HPC-180
    • 関連する報告書
      2021 実績報告書
  • [学会発表] ABCI 2.0: opportunities and challenges of an open research platform for AI/ML2021

    • 著者名/発表者名
      Ryousei Takano
    • 学会等名
      The 2nd International Workshop on Machine Learning Hardware in conjunction with ISC 2021
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 深層強化学習を用いたジョブスケジューリングへの不確実なジョブ属性の影響の検証2021

    • 著者名/発表者名
      滝澤真一朗, 野村哲弘, 松葉浩也
    • 学会等名
      第182回ハイパフォーマンスコンピューティング研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Measurement and Modeling of Performance of HPC Applications towards Overcommitting Scheduling Systems2021

    • 著者名/発表者名
      Shohei Minami, Toshio Endo and Akihiro Nomura
    • 学会等名
      24th Workshop on Job Scheduling Strategies for Parallel Processing
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] センサー情報を意識したジョブスケジューリング実現のための標準ジョブ履歴スキーマの提案2021

    • 著者名/発表者名
      野村哲弘, 滝澤真一朗, 三浦信一, 遠藤敏夫, 松葉浩也
    • 学会等名
      第178回ハイパフォーマンスコンピューティング研究会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Performance Modeling of HPC Applications on Overcommitted Systems2021

    • 著者名/発表者名
      Shohei Minami, Toshio Endo, Akihiro Nomura
    • 学会等名
      HPC Asia 2021, poster session
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] ABCI上でのジョブ実行履歴の分析による深層学習計算の傾向把握2020

    • 著者名/発表者名
      滝澤真一朗, 坂部昌久, 谷村勇輔, 小川宏高
    • 学会等名
      第176回ハイパフォーマンスコンピューティング研究会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 学内インフラとしてのスパコンの対話的利用による利便性向上2020

    • 著者名/発表者名
      安良岡由規,野村 哲弘,遠藤 敏夫
    • 学会等名
      大学ICT推進協議会(AXIES)年次大会, FA2-3
    • 関連する報告書
      2020 実績報告書
  • [学会発表] TSUBAME3のインタラクティブ利用の利便性向上にむけた取り組み2020

    • 著者名/発表者名
      野村 哲弘, 遠藤 敏夫, 三浦 信一, 朝倉 博紀, 越野 俊充, 草間 俊博
    • 学会等名
      第175回ハイパフォーマンスコンピューティング研究会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] オーバーコミットスケジュール時のアプリ性能の予備評価2020

    • 著者名/発表者名
      南 将平, 遠藤 敏夫, 野村 哲弘
    • 学会等名
      第175回ハイパフォーマンスコンピューティング研究会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Improving User-friendliness of Interactive Use in TSUBAME3 Supercomputer2020

    • 著者名/発表者名
      Akihiro Nomura
    • 学会等名
      人工知能CREST合同オンラインワークショップ(ポスター発表)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Effect of an Incentive Implementation for Specifying Accurate Walltime in Job Scheduling2020

    • 著者名/発表者名
      Shinichiro Takizawa, Ryousei Takano
    • 学会等名
      International Conference on High Performance Computing in Asia-Pacific Region
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Activity Report from Tokyo Tech:Energy Efficiency of TSUBAME3.02019

    • 著者名/発表者名
      Toshio Endo
    • 学会等名
      Energy Efficient HPC State of the Practice Kobe Meeting
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Introducing Container Technology to TSUBAME3.0 Supercomputer2019

    • 著者名/発表者名
      Akihiro Nomura
    • 学会等名
      ISC High Performance 2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] TSUBAME3.0におけるストレージ利用効率化のためのファイルシステムベンチマーク2019

    • 著者名/発表者名
      野村 哲弘, 三浦 信一, 實本 英之, 額田 彰, 遠藤 敏夫
    • 学会等名
      情報処理学会研究報告, 2019-HPC-170 No.24
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ABCIデータセンターにおけるハードウェア障害の傾向2019

    • 著者名/発表者名
      高野了成, 滝澤真一朗, 三浦信一, 谷村勇輔, 小川宏高
    • 学会等名
      コンピュータシステムシンポジウム2019
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Activity Report from AIST ~1st anniversary of ABCI~2019

    • 著者名/発表者名
      Ryousei Takano
    • 学会等名
      Energy Efficient HPC State of the Practice Kobe Meeting
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] ABCI and the Energy Efficient Datacenter Operation2019

    • 著者名/発表者名
      Ryousei Takano
    • 学会等名
      Energy Efficiency Considerations for HPC Procurements BoF (SC19)
    • 関連する報告書
      2019 実績報告書
    • 国際学会

URL: 

公開日: 2019-04-18   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi