Research on cloud storage systems for large-scale data processing applications
| Project/Area Number |
22K17869
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 60040:Computer system-related
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
大江 和一 国立情報学研究所, クラウド基盤研究開発センター, 特任准教授 (80417451)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | IOアクセスログ分析 / ハイブリッドストレージ / キャッシュ置換アルゴリズム / 資源再配分 / ストレージシステム / ワークロード分析 / 動的再配置 / 不揮発メモリ / クラウド |
|---|
| Outline of Research at the Start |
本研究の目的は、大規模データ処理を行う複数のアプリケーションをクラウドなどのサーバ集約環境で高効率に実行するための技術の確立である。この目的を達成するために、１）各アプリケーションのIOアクセスの時間的・空間的局所性をリアルタイムに分析し、各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する技術、２）アプリケーション運用中に１）で求めたデバイス領域とキャッシュ方式を再配置する技術、３）２）に関して、不揮発メモリ領域を必要とするアプリケーションに割当て低遅延でアクセスする技術、の研究開発を行う。
|
| Outline of Annual Research Achievements |
本年度は、各アプリケーションのIOアクセスの時間的・空間的局所性をリアルタイムに分析し、各アプリケーションに必要なキャッシュ領域とキャッシュ方式を選択し（HSSC Analysis-engine）、OS側のデバイス領域とキャッシュ方式の変更（HSSC driver）を行う試作システムの実装・動作確認まで進めた。
HSSC Analysis-engineは、アプリケーションごとにIOアクセスのトレースをリアルタイム取得して分析を行い、全分析結果を用いて各アプリケーションのキャッシュ領域とキャッシュサイズの決定を行い、OS側に変更を指示する。アプリケーション層で動作し、Pythonを用いて実装した。
HSSC driverは、Linux device-mapper driverとして実装した。以前行った研究で開発したATSMF driverの実装を拡張し、1) ATSMFモード、2) non cacheモード、3) 外部cache driverモード、の3モードをからの操作で変更出来るように設計・実装した。外部cache driverモードは、HSSC driverとは別のLinux device-mapper driverをHSSC driverにattachし、HSSC driverが受け取ったIO要求をattachしたdriverにフォーワードするモードである。HSSC Analysis-engineの判定に合致したキャッシュ方式の実装が行われたdriverを選択し、指定されたキャッシュサイズでそのdriverを初期化したうえでHSSC driverにattachする。これらの成果は、HSSC driverのみIPSJ 2月研究会で発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
HSSC Analysis-engineとHSSC driverが完成し、提案方式の評価が出来るところまで到達した。本年度の外部発表は試作システムの設計・実装を優先させたため１件に留まったが、次年度は完成した試作システムの評価を行うことで複数の外部発表が可能な状況となった。
なお、NVM領域を必要とするアプリケーションに低遅延でアクセスする技術に関しては、既存研究が複数報告されており、優先度を下げて進めた。
|
| Strategy for Future Research Activity |
完成したHSSC Analysis-engineとHSSC driverを用いた提案方式の評価を進め、その成果の外部発表を行っていく。HSSC Analysis-engineに関しては、評価結果によるアルゴリズム等の改良も行い、提案方式をさらに進化させていく。
NVM領域を必要とするアプリケーションに低遅延でアクセスする技術（NVM領域プール化技術）に関しては、既存研究との違いが示せる領域に限って進める予定である。
|
Report
(2 results)
Research Products
(5 results)
