2022 Fiscal Year Research-status Report

Research on cloud storage systems for large-scale data processing applications

Research Project

Project/Area Number	22K17869
Research Institution	National Institute of Informatics
Principal Investigator	大江和一国立情報学研究所, クラウド基盤研究開発センター, 特任准教授 (80417451)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	IOアクセスログ分析 / ハイブリッドストレージ / キャッシュ置換アルゴリズム / 資源再配分
Outline of Annual Research Achievements	本年度は、各アプリケーションのIOアクセスの時間的・空間的局所性をリアルタイムに分析し、各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する技術の確立を中心に進めた。まず、IOアクセスの時間的・空間的局所性をリアルタイムに分析するソフトウエアの実装と評価を行った。評価はMSR Cambridge Tracesの中からアクセス数が多い8ログを用いて行った。MSR Cambridge Tracesは、マイクロソフトリサーチの部門サーバの1週間分のIOアクセスログが公開となっており、同分野の研究者で広く利用されている。その結果、１）時間経過と共に必要となるデバイス領域とキャッシュ方式が変化していくこと、２）アプリケーションごとに１）の特徴が異なることを示した。さらに、この評価結果より、アプリケーションごとにデバイス領域の大きさとキャッシュ方式を動的に変更していくことで性能向上できることも示した。この成果は、IEICE CPSY1月研究会とIPSJ OS 2月研究会で発表した。各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する部分は、設計を完了し実装を進めている段階である。アプリケーション運用中にデバイス領域とキャッシュ方式を前節の選択結果に基づいて再配置する技術は、概要設計まで進めた。並行してこの技術の実装に必要な不揮発メモリやInfinibandが搭載されたサーバの手配を行い、2022年度末までに実験に必要なソフトウエア等のインストールまで終了した。 NVM領域を必要とするアプリケーションに割当て低遅延でアクセスする技術に関しては、Infiniband通信のベンチマークであるperftestを用いて購入機材の疎通確認まで進めた。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason IOアクセスの時間的・空間的局所性をリアルタイムに分析するソフトウエアが完成しており、各アプリケーションに必要なデバイス領域とキャッシュ方式選択を行う技術確立にめどが立っていること。デバイス領域とキャッシュ方式の再配置技術は、OSドライバ上での実装が中心となる。この部分の開発に関しては、以前の研究で十分な経験があるため、実装等順調に進捗すると予想されること。
Strategy for Future Research Activity	当初の予定通り、今年度は運用中にHSSC構成変更を行う技術（デバイス領域とキャッシュ方式の再配置技術）を中心に進めていく予定である。各アプリケーションに必要なデバイス領域とキャッシュ方式選択を行う技術に関しては、分析結果を使って再配分を行う箇所の実装と評価を進めていく予定である。年度の後半にはNVM領域をプール化する技術開発も進めていく予定である。
Causes of Carryover	コロナ下であり、海外出張を伴う国際会議参加の機会がなく、未使用分が発生した。未使用分は今年度の国際会議への論文投稿や参加時の経費として利用予定である。