• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

高性能計算技術とマイクロサービス化技術の融合に関する研究

研究課題

研究課題/領域番号 20K11837
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分60090:高性能計算関連
研究機関北海道大学

研究代表者

杉木 章義  北海道大学, 情報基盤センター, 准教授 (50536828)

研究期間 (年度) 2020-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2022年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2021年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2020年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
キーワードクラウドコンピューティング / コンテナ / 分散システム / 仮想化 / OS・システムソフトウェア / スケジューリング / クラウド / 最適化 / 高性能計算 / コンテナ化技術 / マイクロサービス / システムソフトウェア / 並列分散システム / Kubernetes / サービスメッシュ / オペレーティングシステム / 並列分散
研究開始時の研究の概要

本研究は,Kubernetesを中心とするコンテナ管理技術に対して,大規模データ解析,機械学習・人工知能タスクを含む,高性能計算(HPC)技術を融合する研究を実施する.従来よりHPC分野とクラウド分野で類似タスクに対して異なるソフトウェアが用いられていることが指摘されていたが,両者の乖離は再び進みつつある.本研究は,Kubernetesの視点からHPC技術を再構築することで,両者の融合を試みる.

研究実績の概要

今年度は前年度までに研究開発したk8s-configsの成果をもとに,大型計算機センターにおけるKubernetes並列計算クラスタの実運用を想定し,商用・オープンソース版の双方が存在するKubernetesディストリビューションに対して,k8s-configsの設定を反映していく方法で検証を進めている.昨年度までは,検証環境としてのデータ活用社会創成基盤mdxが提供する高性能CPUおよびGPU,Lustre,ROCEv2などのハードウェア・ストレージ・ネットワーク性能をKubernetesで最大限活用する目的で検証を進めていたが,今年度はKubernetesが十分安定的に提供できるようになったことから,より上位となるアプリケーション展開の検証や,仮想ネットワークの検証を進めている.アプリケーションとしては,JupyterHubなどの対話環境やMySQLやPostgreSQLなどのデータベースの展開を想定している.実運用の際に具体的な課題となる認証,認可,リソース制限や課金方法などの検討や問題点の洗い出しを行った.これらの成果は,研究代表者の所属機関の次期大型計算機システムの仕様に一部反映される予定である.
よりOS・システムソフトウェア分野らしい研究としては,Linux eBPFとサービスメッシュ技術に関する詳細な調査研究を進めている.サービスメッシュ技術の分野では,近年,サービスごとのプロキシ(サイドカー)をノードごとに集約するサイドカーレス方式の採用がCiliumやIstio Ambient Mesh進んでいるが,サイドカー方式を依然として採用しているLinkeredなどのサービスメッシュ実装も存在し,双方の利点や欠点が十分に明らかでない.詳細な技術調査を広範囲に進めたため時間を要しているが,近日中に成果が得られる予定である.

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

コロナ禍の影響を依然受けており,一旦リセットとなったことから,学生等,研究室体制の回復に想定以上の時間を要している.本研究は全般に進展しているが,特に研究成果化に関して,進捗の遅れの影響を大きく受けている.また,調達のタイミングの関係で,特定のディストリビューションをもとに研究を進めることができない時期が一定期間あり,影響を受けている.サービスメッシュ技術も研究のスコープに含めたことから,調査研究に時間を要したが,準備は着々と進みつつあり,今後,研究の成果化を進めていくつもりである.

今後の研究の推進方策

今後の研究に関しては,上記の研究実績の概要にも対応し,二つの方針で進める.
高性能計算分野におけるKubernetes技術の採用に関しては,研究開始当初時点と比較して,本研究の周辺を取り巻く状況が変化している.以前のKubernetesではバッチ対応が遅れていると指摘されていたが,最近,KueueなどのSIGが立ち上がり,バッチ処理対応が進められている.Kueueと既存のスパコンにおけるバッチスケジューラとの機能および性能の比較を実施する予定である.また,学術機関でのKubernetes採用では,マルチテナント性の実現が課題であることが明らかになってきている.KubernetesのRBACやNetwork Policy機能などにより,技術的にはマルチテナントは実現可能であると思われるが,設定が煩雑で誤りも生じやすく,実際の運用には大きな課題があると思われる.自動的な検証の可能性も含めた,さまざまな検証作業を進める予定である.
サービスメッシュ技術に関しては,サイドカーレス方式を採用した場合の他サービスからの干渉(Noisy Neighbor問題)に注目しており,今後検証を進める予定である.その観点からは,サイドカー方式を採用する利点がある可能性もあり,両者のトレードオフ点を探す予定である.

報告書

(4件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (9件)

すべて 2023 2022 2021 その他

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 1件) 学会発表 (6件) 備考 (1件)

  • [雑誌論文] データ活用社会創成に向けた基盤ソフトウェア環境の構築2022

    • 著者名/発表者名
      杉木 章義、田浦 健次朗、伊達 進、建部 修見、空閑 洋平、竹房 あつ子、藤原 一毅、合田 憲人、中村 遼、塙 敏博、鈴村 豊太郎、宮本 大輔
    • 雑誌名

      学術情報処理研究

      巻: 26 号: 1 ページ: 1-9

    • DOI

      10.24669/jacn.26.1_1

    • ISSN
      1343-2915, 2433-7595
    • 年月日
      2022-12-28
    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] mdx: A Cloud Platform for Supporting Data Science and Cross-Disciplinary Research Collaborations2022

    • 著者名/発表者名
      Toyotaro Suzumura, Akiyoshi Sugiki, Hiroyuki Takizawa, Akira Imakura, Hiroshi Nakamura, Kenjiro Taura, Tomohiro Kudo et al.
    • 雑誌名

      IEEE CBDCom 2022

      巻: - ページ: 1-7

    • DOI

      10.1109/dasc/picom/cbdcom/cy55231.2022.9927975

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり
  • [学会発表] マルチインスタンスGPUを用いた推論ワークロードのクラスタスケジューリング2023

    • 著者名/発表者名
      三井郁央、杉木章義
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] データ利活用に向けた高性能Kubernetes環境構築の検討2022

    • 著者名/発表者名
      杉木 章義
    • 学会等名
      情報処理学会研究報告(2022-HPC-185)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] データ利活用に向けた仮想化プラットフォームmdxの基本性能評価2022

    • 著者名/発表者名
      塙 敏博,中村 遼,空閑 洋平,杉木 章義,田浦 健次朗
    • 学会等名
      情報処理学会研究報告(2022-HPC-183(9))
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 高水準なマイクロサービス層における複数ドメインを連携させたインタークラウドHPC環境実現の検討2021

    • 著者名/発表者名
      杉木 章義
    • 学会等名
      情報処理学会研究報告(2021-OS-153(9))
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] microburst: クラウドネイティブ環境を起点とした異種混合HPCアプリケーション開発と展開の検討2021

    • 著者名/発表者名
      杉木 章義
    • 学会等名
      情報処理学会研究報告(2021-HPC-180(20))
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] データ活用社会創成プラットフォームmdxの設計・実装・運用~多様な学際領域における共創に向けて~2021

    • 著者名/発表者名
      鈴村 豊太郎,杉木 章義,滝沢 寛之,今倉 暁,中村 宏,田浦 健次朗,工藤 知宏,塙 敏博,関谷 勇司,小林 博樹,松島 慎,空閑 洋平,中村 遼,姜 仁河,川瀬 純也,華井雅俊,宮嵜 洋,石﨑 勉,下徳 大祐,関本義秀,樫山武浩,合田 憲人,竹房 あつ子,政谷 好伸,栗本 崇,笹山 浩二,北川 直哉,藤原 一毅,朝岡 誠,中田秀基ら
    • 学会等名
      大学ICT推進協議会2021年度年次大会
    • 関連する報告書
      2021 実施状況報告書
  • [備考] k8s-configs: an optimized Kubernetes for mdx

    • URL

      https://github.com/a-sugiki/k8s-configs

    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi