Research on cloud storage systems for large-scale data processing applications
Project/Area Number |
22K17869
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 60040:Computer system-related
|
Research Institution | National Institute of Informatics |
Principal Investigator |
大江 和一 国立情報学研究所, クラウド基盤研究開発センター, 特任准教授 (80417451)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
Keywords | IOアクセスログ分析 / ハイブリッドストレージ / キャッシュ置換アルゴリズム / 資源再配分 / ストレージシステム / ワークロード分析 / 動的再配置 / 不揮発メモリ / クラウド |
Outline of Research at the Start |
本研究の目的は、大規模データ処理を行う複数のアプリケーションをクラウドなどのサーバ集約環境で高効率に実行するための技術の確立である。この目的を達成するために、1)各アプリケーションのIOアクセスの時間的・空間的局所性をリアルタイムに分析し、各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する技術、2)アプリケーション運用中に1)で求めたデバイス領域とキャッシュ方式を再配置する技術、3)2)に関して、不揮発メモリ領域を必要とするアプリケーションに割当て低遅延でアクセスする技術、の研究開発を行う。
|
Outline of Annual Research Achievements |
本年度は、各アプリケーションのIOアクセスの時間的・空間的局所性をリアルタイムに分析し、各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する技術の確立を中心に進めた。まず、IOアクセスの時間的・空間的局所性をリアルタイムに分析するソフトウエアの実装と評価を行った。評価はMSR Cambridge Tracesの中からアクセス数が多い8ログを用いて行った。MSR Cambridge Tracesは、マイクロソフトリサーチの部門サーバの1週間分のIOアクセスログが公開となっており、同分野の研究者で広く利用されている。その結果、1)時間経過と共に必要となるデバイス領域とキャッシュ方式が変化していくこと、2)アプリケーションごとに1)の特徴が異なることを示した。さらに、この評価結果より、アプリケーションごとにデバイス領域の大きさとキャッシュ方式を動的に変更していくことで性能向上できることも示した。この成果は、IEICE CPSY1月研究会とIPSJ OS 2月研究会で発表した。 各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する部分は、設計を完了し実装を進めている段階である。 アプリケーション運用中にデバイス領域とキャッシュ方式を前節の選択結果に基づいて再配置する技術は、概要設計まで進めた。並行してこの技術の実装に必要な不揮発メモリやInfinibandが搭載されたサーバの手配を行い、2022年度末までに実験に必要なソフトウエア等のインストールまで終了した。 NVM領域を必要とするアプリケーションに割当て低遅延でアクセスする技術に関しては、Infiniband通信のベンチマークであるperftestを用いて購入機材の疎通確認まで進めた。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
IOアクセスの時間的・空間的局所性をリアルタイムに分析するソフトウエアが完成しており、各アプリケーションに必要なデバイス領域とキャッシュ方式選択を行う技術確立にめどが立っていること。 デバイス領域とキャッシュ方式の再配置技術は、OSドライバ上での実装が中心となる。この部分の開発に関しては、以前の研究で十分な経験があるため、実装等順調に進捗すると予想されること。
|
Strategy for Future Research Activity |
当初の予定通り、今年度は運用中にHSSC構成変更を行う技術(デバイス領域とキャッシュ方式の再配置技術)を中心に進めていく予定である。 各アプリケーションに必要なデバイス領域とキャッシュ方式選択を行う技術に関しては、分析結果を使って再配分を行う箇所の実装と評価を進めていく予定である。 年度の後半にはNVM領域をプール化する技術開発も進めていく予定である。
|
Report
(1 results)
Research Products
(4 results)