2021 Fiscal Year Research-status Report
共用 HPC における管理者権限の利用を許す計算資源提供
| Project/Area Number |
21K17727
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
深井 貴明 国立研究開発法人理化学研究所, 計算科学研究センター, 特別研究員 (00871328)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 仮想化技術 / 高性能計算 / コンピュータセキュリティ |
|---|
| Outline of Annual Research Achievements |
本研究課題では、共用 HPC 環境でユーザーによる管理者権限の利用を安全かつ性能劣化なしに実現することで、HPC 環境の用途を広げることを目的としている。このために 4 つの要件 (1)ユーザーのroot 化、(2) HPC システムの保護、(3) 計算環境の高速なリストア、(4) 性能劣化の回避 を実現するシステムの研究開発を行なっている。本年度の成果として、上記要件のうち機能的なものである (1)-(3) を満たすプロトタイプ実装が完了した。また、このプロトタイプ実装を用いて、提案手法が性能要件(4)を満たしているか否かの定量的な評価に着手している。
本年度の成果として開発したものは、スーパーコンピュータ富岳に搭載されている CPU である A64FX で動作可能な軽量ハイパバイザ本体、およびこれを用いたハードウェア保護と高速リストア機構である。軽量ハイパバイザは OS 外部で動作するシステムソフトウェアであり、OS に依存せずに機能を実現できる。また、同様の技術である仮想計算機と比べ、性能劣化が大幅に減らせることが特徴である。ユーザーに OS の管理者権限を付与しこれによって OS 上でいかなる変更をされても、軽量ハイパバイザで実現されたシステム管理機能は OS に非依存で動作可能であるため、これによって要件(1)を満たすことができる。この軽量ハイパバイザで要件(2)(3)を満たすために、ハードウェアへの不正な操作を禁止する機能および数十秒程度で OS 起動直後の状態に戻せる機能を設計および実装した。
今回実装した軽量ハイパバイザは本研究のみならず幅広い研究開発に応用可能と考え、その一部を MIT ライセンスのもと MilvusVisor という名前でソースコードを公開している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまで、提案手法のプロトタイプの設計と実装が概ね完了し、富岳の計算ノードの同系統機である FX700 上での性能評価実験に着手している。
ここまでの研究について4つのフェーズ、(1) 軽量ハイパバイザのコア機能の設計実装, (2) 軽量ハイパバイザによるハードウェア保護の設計実装, (3) 軽量ハイパバイザによる高速リストアの設計実装, (4) 提案手法の評価実験への着手, に分けられる。
(1) について、既存のハイパバイザを改造して実装することも検討したものの、適した既存実装がなかったため、aarch64 CPU 向け軽量ハイパバイザを一から実装した。今回実装した軽量ハイパバイザは本研究のみならず幅広い研究開発に応用可能と考え、MIT ライセンスのもと MilvusVisor という名前でソースコードを公開している。(2) について、FX700 に搭載されている Infiniband デバイスおよび Ethernet デバイスについてこれらを保護する機能の実装が完了している。具体的には、OS がこれらデバイスのファームウェアや MAC アドレスを改変しようとした際に、この操作を禁止できることを確認した。(3) については、FX700 上の OS シャットダウン時に OS の機能に依存せず数十秒程度で起動直後の状態に戻せることを確認した。(4) について、軽量ハイパバイザの設計上メモリ性能への影響がもっとも大きくなりやすいと考えたため、メモリ性能の測定から着手した。現在の測定結果では、測定の4回に1回程度の頻度でハイパバイザを用いた際の性能が 4分の1 程度になっていることを確認している。
ただし、現在のプロトタイプ実装は動作および性能について不安定な部分があり、プロトタイプ実装に修正の余地があると考えている。
|
| Strategy for Future Research Activity |
本年度の計画として、提案手法の設計とプロトタイプ実装および性能評価の結果をまとめ、国内研究会および国際学会への投稿することとする。このために、本年度前半には基本性能の評価実験とその分析、中期にはアプリケーションによる性能評価実験を行い、それぞれの結果を夏および冬ごろにまとめ、投稿する。
基礎性能評価実験としては、CPU、メモリ、ネットワーク、ストレージのマイクロベンチマークの結果を軽量ハイパバイザの有無でどのように変化するかを定量的に明らかにし、分析によってその原因を明らかにする。特に、ハイパバイザの設計上、メモリ性能に影響が出る可能性がもっとも高いと考えられるため、この点は詳細に測定および分析する。アプリケーションによる性能評価実験では、MPI を用いる分散処理アプリケーションおよび、KVS サーバーなど管理者権限なしでは利用が難しいアプリケーションで性能評価を行う。
これらの評価は軽量ハイパバイザの有無だけではなく、既存の仮想化技術を用いた場合も含めて測定し比較する。また、富岳の計算ノードである FX1000 についても性能測定を試みる。
直近の技術的な課題として、現在のプロトタイプ実装の動作および性能が不安定である原因を特定し、必要であれば修正することが挙げられる。考えられる不安定さ要因として、富岳の計算ノードの系統機に搭載されている CPU である A64FX が一般的な CPU とは異なる方法でメモリと接続されていることが挙げられる。これに伴って、ハイパバイザでメモリ資源を制御する際に特別な対応が必要な可能性があり、その不足によって不安定になっている可能性がある。この技術的な問題の解決を推進するために、CPU のメーカーと何らかの形で協力を仰げないか検討する。
|
| Causes of Carryover |
半導体不足の影響で実験用の機材を十分購入できなかったため。本年度は上記機材の購入に使用する。
|
| Remarks |
MilvusVisor は本研究課題実施の中で研究開発しているソフトウェア(ハイパバイザ)であり、これを MIT ライセンスで公開しております。
|
Research Products
(1 results)
