2020 Fiscal Year Research-status Report
高性能計算技術とマイクロサービス化技術の融合に関する研究
Project/Area Number |
20K11837
|
Research Institution | Hokkaido University |
Principal Investigator |
杉木 章義 北海道大学, 情報基盤センター, 准教授 (50536828)
|
Project Period (FY) |
2020-04-01 – 2023-03-31
|
Keywords | クラウドコンピューティング / 高性能計算 / コンテナ / オペレーティングシステム / 仮想化 |
Outline of Annual Research Achievements |
本研究では,まず低レベルランタイムへの取り組みとして,microVM及びライブラリOSを高性能計算(HPC)技術の文脈に適用可能かどうか調査を実施した.具体的には,Firecracker,Intel Cloud Hypervisor,Lupine Linux,Unikernel Linux(UKL)を中心に,広範囲にmicroVM技術及びライブラリOSに関する研究の調査を実施した.microVMは従来の仮想マシンとOSコンテナの中間的な性質を持つ軽量な仮想化技術である.FirecrackerはAmazon Web Services (AWS)で実際に商用サービスで利用されており,GPUやInfiniBand等のサポートに関しては,Cloud Hypervisorの方が有利である.これらのソースコードの解析を行い,実際に動作させるなど,各種作業と調査を行なった.
次に,より上位層からのアプローチとして,クラウドネイティブの視点からAWSパブリッククラウドの各種HPCサービスの調査を実施した.具体的には,Parallel Cluster及びElastic Kubernetes Service (EKS)を対象とした.Parallel Clusterは従来のスパコンをそのままパブリッククラウド上で実現したものであり,大きな違和感なく利用できることが分かった.一方のEKSに関しては,Parallel Clusterと同等の性能を期待したが,Elastic Fabric Adapter (EFA)のオーバヘッドが解消されなかったため,調査を継続している.
最後に,本研究の主要なテーマであるHPCのマイクロサービス化のためのサービスメッシュの調査を実施した.具体的には,Istio,Envoy Proxy,SPIFFE/SPIRE,eBPFベースのCiliumの調査や解析を現在進めている.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度,新型コロナウイルス感染症流行の影響により,年度当初,所属機関への立ち入りや対面での活動が大幅に制限され,研究が多少立ち遅れた.また,多くの学会がオンライン開催となり,対外成果発表にやや消極的となってしまったことも,大いに反省すべき点である.その一方で,各種文献や実装の調査や再実装といった基礎的な研究活動,刀を研ぐための活動に大いに時間を割くことができ,またそれらが進展したことは,大いに評価している点である.
本研究は,HPC技術とクラウド技術に基づくマイクロサービス化技術の融合を目指した,やや野心的なものであるが,上記の作業の過程で具体的なビジョンや手法が描けたことも,評価している点である.翌年度以降,できるだけ早期にそのブループリントを研究コミュニティに提示するとともに,研究の成果化を目指したい.
|
Strategy for Future Research Activity |
本年度,研究期間全体の研究対象項目について広範囲に調査を行い,広く浅く研究を進めてしまい,成果化がやや立ち遅れてしまったことは大いに反省すべき点である.今後については,研究全体のブループリントを研究コミュニティ全体に示すとともに,下記の二つの柱を中核として研究を進めていきたい.
一つは,パブリッククラウドをHPCアプリケーションの開発研究拠点とし,CD/CD(継続的インテグレーション・デリバリ)技術,サーバレス技術,科学的ワークフロー技術の代替としてのStep Functions技術も導入し,ある程度パブリッククラウド上でのHPCアプリケーションの開発が進展した段階で,従来の各大学や学術機関のスパコンで大きな計算資源を活用しながら本格計算を実施する,新たなHPCにおける開発手法を提起したい.
また,研究課題名に対応するHPCのマイクロサービス化技術について,HPCアプリケーション例のマイクロサービスでの構築,そのオーバヘッドの調査と改善,複数クラスタ及び複数認証機関の連携(フェデレーション)に関する研究を進める予定である.特に最後については,従来のインタークラウド技術を対象とした,より高水準な(マイクロ)サービス層における再実装であり,積極的に進めていきたい.
|
Causes of Carryover |
新型コロナ感染症流行の影響により,多くの学会がオンライン開催となり,出張に関する旅費が大幅に削減された.物品費等への振り分けにより当該年度内での使用も検討したが,次年度の研究発表の増加を期待して,次年度使用額とした.
|