Hadoopに対し飛躍的性能向上を達成する大規模データ解析処理系の研究
| Project/Area Number |
12J07965
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Media informatics/Database
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
山田 浩之 東京大学, 大学院情報理工学系研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2012 – 2013
|
| Project Status |
Completed (Fiscal Year 2013)
|
| Budget Amount *help |
¥1,800,000 (Direct Cost: ¥1,800,000)
Fiscal Year 2013: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2012: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 非同期I/O / カラムスト / MapReduce / 並列データ処理 / 問合せ最適化 / C-Store / Hadoop / カラムストア / データ処理 |
|---|
| Research Abstract |
本年度は、前年度に開発した高多重非同期I/O化方式を適用したカラムストアエンジンならびにMapReduceエンジンにおいて、より大規模な環境での実験を進めた。カラムストアエンジンにおいては、72ディスクドライブを具備する計算機サーバおよび128台の計算機から構成されるストレージインテンシブな大規模クラスタシステムおいて、また、MapReduceエンジンにおいては128台の計算機から構成されるストレージインテンシブ大規模クラスタシステムにおいて、最大100倍以上の高速化の達成に成功し、両エンジンの有効性を明らかにした。また、カラムストアエンジンにおける遅延タプル再構築処理の非同期I/O化や、MapReduce処理エンジンにおけるネットワークも含めたI/O並列度の調整方式など、非同期I/O化方式の高度化に成功した。さらに、両エンジンにおいて、非同期I/O化方式を考慮したクエリ最適化方式、ならびに計算資源の最適調整方式等の検討および開発を進めた。
また、年度前半から後半にかけては、開発を進めている両エンジンを用いて実データを利用した実証実験を行い、新たな課題を模索するとともに、実データに対する当該エンジンならびに当該非同期I/O化方式の有効性を明らかにした。
年度後半には、研究成果を論文にまとめ、国内の学会において発表を行った。
|
| Strategy for Future Research Activity |
(抄録なし)
|
Report
(2 results)
Research Products
(3 results)
