2021 Fiscal Year Research-status Report
高性能計算技術とマイクロサービス化技術の融合に関する研究
| Project/Area Number |
20K11837
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
杉木 章義 北海道大学, 情報基盤センター, 准教授 (50536828)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | コンテナ化技術 / マイクロサービス / 高性能計算 / クラウドコンピューティング / システムソフトウェア / 並列分散システム / Kubernetes / サービスメッシュ |
|---|
| Outline of Annual Research Achievements |
研究期間の前半では，従来の仮想マシンやスパコンといったサーバ層ではなく，高水準なマイクロサービス層で複数学術機関の高性能計算サービスを連携する手法に関する研究を実施した．各拠点で動作するコンテナ同士をSPIFFE/SPIREで接続し，mTLSで相互に認証を行いながら，暗号化通信で計算を行なう．実験環境では，北海道大学情報基盤センターが提供するインタークラウドパッケージを活用し，4拠点（北大，東大，阪大，九大）の計算機を連携させたフェデレーション環境を再現した．実験の結果，学術機関を相互に連携させる場合には，接続拠点の数が多く，発行する証明書のスケーラビリティに課題があることが分かった．また，SINET L2VPNサービスを活用しているものの，最大1.6Gbps程度と実験環境の制約により期待した程の性能は得られなかった．次にパブリッククラウドで研究開発を行い，ヘテロジニアスな各拠点のスパコンや大型計算機システムに高性能計算アプリケーションを水平展開するmicroburst方式を提案した．AWSに代表されるパブリッククラウドのクラウドネイティブなサービスを活用しながら，高性能計算アプリケーションの開発を行う自動化パイプラインを構築し，口頭発表を行なった．
研究期間の後半では，データ活用社会創成プラットフォームmdxの試験運用が開始され，計算機環境が自由に手に入るようになった．研究上の制約がなくなり，研究が大幅に進展した．現在，本研究課題の中核となる高性能なKubernetesパッケージの開発を進めている．
総括として，本研究が目標とする姿に関して，十分な青写真を示すことができた．一方で，国際会議や雑誌論文などの査読付き成果化の作業が遅れており，その点は反省すべき点である．特に，手広く研究を進めたものの，一方で個別テーマを深く追求することができなくなっており，今後の大きな課題とする．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度に関して，本研究課題は概ね順調に進展した．特に，本研究課題が目標とする「高性能計算技術とマイクロサービス化技術の融合」というテーマに関して，口頭発表のみではあるが，主要な構成要素に関してその青写真を学術コミュニティに向けて十分に提示することができた点については自己評価している．具体的には，サービスメッシュを活用したマイクロサービス層における高性能計算アプリケーションの複数の学術機関を跨いだフェデレーション連携，パブリッククラウドを起点とした複数アーキテクチャの高性能アプリケーション開発とその大型計算機システムへの水平展開，従来のスパコンに近いハードウェア環境での高性能Kubernetesクラスタ環境の試験的構築などである．
一方で，特にコロナ禍が継続しているということもあり，人的資源などの制約が非常に多い中で，研究資源を適切に配分できなかった点が課題である．特に，複数の主要研究テーマに関して手広く研究を進めてしまい，個々の調査や設計，実装に多くの時間や労力を要し，個別の研究テーマを深く掘り下げることができなかった点は，大いに反省すべき点である．
今年度の研究期間の後半からデータ活用社会創成プラットフォームmdxが本格的に利用可能となり，研究が大いに進展した．本パートは高性能なkubernetes環境の構築に関するものであり，本研究課題の中核とも言える部分である．これまでの計算機環境では，旧世代の計算機資源に制約がありながら所属機関の計算機で研究を進めるか，従量制課金を気にしつつパブリッククラウド環境で研究を進めるかの選択肢しかなく，環境構築にかかる時間や試行錯誤に関する時間の計算機費用が気にかかり，研究を思い切って進めることができなかった．周辺の研究環境は十分整っており，今後は精力的に研究を進めたい．
|
| Strategy for Future Research Activity |
次年度は個別研究テーマを掘り下げ，詳細な評価実験を行い，雑誌論文化や国際会議論文化を推し進めたい．査読付きの対外成果化にあたっては，実際の高性能計算アプリケーションに近い環境でどの程度評価実験を推し進められるかが重要な鍵であると考えている．現状では動作確認や検証を目的として比較的シンプルなアプリケーションでの評価となっており，想定される実アプリケーションに近い環境に置き換えたい．
上記にあたっては，今年度よりデータ活用社会創成プラットフォームmdxが本格的に利用可能になった点が非常に大きいと考えられる．これまでは目標とする計算機環境と実験可能な計算機環境に大きな差異があり，研究に支障が出ていたが，本問題がほとんど解消された．mdxでは，最新世代のCPUプロセッサやGPU，二つのLustreストレージ，ROCEv2に基づくRDMAネットワークなど，本研究が必要とする計算機環境の要件を十分に備えている．また，mdxに特化した高性能なKubernetes環境を10分程度で自動構築するスクリプト（k8s-configs）も今年度で記述済みであり，今後の研究の深化が期待される．
詳細な研究テーマに関しては，これまで未実施であった通常のワークロードと高性能計算を融合させたKubernetes用のスケジューラに関する研究を推し進める予定である．最近，Kubernetes自身も並列タスクに対するスケジューラ機能（Indexed jobs, suspended jobs, custom subresourcesなど）がいくつか追加で実装されてきており，これらの文脈も踏まえながら，新規にスケジューラを研究開発する予定である．
|
| Causes of Carryover |
前年度に引き続きコロナ禍の継続により，国内外を含めて多くの主要な学会がオンライン開催となり，旅費が応募時点の当初見込みよりも大幅に抑えられた．次年度は多くの学会で現地開催やハイブリッド開催へと回帰する見込みであり，本予算を使用する予定である．
|
