2019 Fiscal Year Annual Research Report
Big data platform based on Containers with low power consumption
| Project/Area Number |
17K00109
|
|---|
| Research Institution | Kogakuin University |
|---|
Principal Investigator |
山口 実靖 工学院大学, 情報学部(情報工学部), 准教授 (50439262)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | コンテナ型仮想化環境 / ファイルシステム |
|---|
| Outline of Annual Research Achievements |
本研究ではコンテナ型仮想化環境を用いて低負荷高性能で低消費電力なビッグデータ処理基盤を構築し、ビッグデータ処理アプリケーションの性能向上を実現することを目標としていた。そして、このために主として コンテナ環境の動作観察システム と コンテナ環境用ファイルシステム の構築を行うことが計画されていた。当研究では、これらの全ての研究目標を達成することができた。本研究では、オープンソースＯＳを用いてコンテナ環境の動作観察システムを構築し、動作観察に基づく性能考察を可能とした。そして、動作観察を元に既存ファイルシステムの性能上の課題を指摘し、課題を解決したファイルシステムを構築した。これにより１００倍以上の性能向上を実現した。
具体的には、以下の成果を得た。コンテナ型仮想化環境の動作観察システムの開発として、オープンソースのコンテナ型仮想化システムの実装を改変しシステム内部で発生したイベントを記録できる仮想化環境の動作観察システムを構築した。 コンテナ型仮想化環境を用いる低負荷高速で低消費電力な並列データ処理基盤の構築としては並列コンテナ型仮想化環境の構築、コンテナ型仮想化環境に適したファイルシステムの構築、仮想化環境の動作の調査による性能劣化原因の特定、多数の仮想化環境が単一の物理計算機上で構築する高集約環境の構築とその省電力化を行った。ビッグデータ処理アプリケーションの高速化としては、データデータ処理アプリケーションの性能の評価、動作の観察、性能劣化原因の特定、性能向上を行い、分散環境にて得られた観察結果を統合整理する解析ツールを実装した。
|
