| Project/Area Number |
20K11837
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60090:High performance computing-related
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
杉木 章義 北海道大学, 情報基盤センター, 准教授 (50536828)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
|
|---|
| Keywords | クラウドコンピューティング / コンテナ / 分散システム / 仮想化 / OS・システムソフトウェア / スケジューリング / クラウド / 最適化 / 高性能計算 / コンテナ化技術 / マイクロサービス / システムソフトウェア / 並列分散システム / Kubernetes / サービスメッシュ / オペレーティングシステム / 並列分散 |
|---|
| Outline of Research at the Start |
本研究は，Kubernetesを中心とするコンテナ管理技術に対して，大規模データ解析，機械学習・人工知能タスクを含む，高性能計算（HPC）技術を融合する研究を実施する．従来よりHPC分野とクラウド分野で類似タスクに対して異なるソフトウェアが用いられていることが指摘されていたが，両者の乖離は再び進みつつある．本研究は，Kubernetesの視点からHPC技術を再構築することで，両者の融合を試みる．
|
| Outline of Annual Research Achievements |
今年度は前年度までに研究開発したk8s-configsの成果をもとに，大型計算機センターにおけるKubernetes並列計算クラスタの実運用を想定し，商用・オープンソース版の双方が存在するKubernetesディストリビューションに対して，k8s-configsの設定を反映していく方法で検証を進めている．昨年度までは，検証環境としてのデータ活用社会創成基盤mdxが提供する高性能CPUおよびGPU，Lustre，ROCEv2などのハードウェア・ストレージ・ネットワーク性能をKubernetesで最大限活用する目的で検証を進めていたが，今年度はKubernetesが十分安定的に提供できるようになったことから，より上位となるアプリケーション展開の検証や，仮想ネットワークの検証を進めている．アプリケーションとしては，JupyterHubなどの対話環境やMySQLやPostgreSQLなどのデータベースの展開を想定している．実運用の際に具体的な課題となる認証，認可，リソース制限や課金方法などの検討や問題点の洗い出しを行った．これらの成果は，研究代表者の所属機関の次期大型計算機システムの仕様に一部反映される予定である．
よりOS・システムソフトウェア分野らしい研究としては，Linux eBPFとサービスメッシュ技術に関する詳細な調査研究を進めている．サービスメッシュ技術の分野では，近年，サービスごとのプロキシ（サイドカー）をノードごとに集約するサイドカーレス方式の採用がCiliumやIstio Ambient Mesh進んでいるが，サイドカー方式を依然として採用しているLinkeredなどのサービスメッシュ実装も存在し，双方の利点や欠点が十分に明らかでない．詳細な技術調査を広範囲に進めたため時間を要しているが，近日中に成果が得られる予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
コロナ禍の影響を依然受けており，一旦リセットとなったことから，学生等，研究室体制の回復に想定以上の時間を要している．本研究は全般に進展しているが，特に研究成果化に関して，進捗の遅れの影響を大きく受けている．また，調達のタイミングの関係で，特定のディストリビューションをもとに研究を進めることができない時期が一定期間あり，影響を受けている．サービスメッシュ技術も研究のスコープに含めたことから，調査研究に時間を要したが，準備は着々と進みつつあり，今後，研究の成果化を進めていくつもりである．
|
| Strategy for Future Research Activity |
今後の研究に関しては，上記の研究実績の概要にも対応し，二つの方針で進める．
高性能計算分野におけるKubernetes技術の採用に関しては，研究開始当初時点と比較して，本研究の周辺を取り巻く状況が変化している．以前のKubernetesではバッチ対応が遅れていると指摘されていたが，最近，KueueなどのSIGが立ち上がり，バッチ処理対応が進められている．Kueueと既存のスパコンにおけるバッチスケジューラとの機能および性能の比較を実施する予定である．また，学術機関でのKubernetes採用では，マルチテナント性の実現が課題であることが明らかになってきている．KubernetesのRBACやNetwork Policy機能などにより，技術的にはマルチテナントは実現可能であると思われるが，設定が煩雑で誤りも生じやすく，実際の運用には大きな課題があると思われる．自動的な検証の可能性も含めた，さまざまな検証作業を進める予定である．
サービスメッシュ技術に関しては，サイドカーレス方式を採用した場合の他サービスからの干渉（Noisy Neighbor問題）に注目しており，今後検証を進める予定である．その観点からは，サイドカー方式を採用する利点がある可能性もあり，両者のトレードオフ点を探す予定である．
|
