ビッグデータ処理で問題になるのはデータが大量にあるため計算機のメモリ上での処理が行えないということである.古典的な手法ではデータをハードディスク上に格納して処理を行うI/Oアルゴリズムを用いていた.しかしハードディスクのランダムアクセスはメモリへのアクセスとは比べ物にならないほど低速であり,ビッグデータ処理には時間がかかっていた. 簡潔データ構造では,データ構造のサイズはo(n),つまりデータ量の劣線形となっており,データを計算機のメモリ上に格納することができ,スケーラブルなアルゴリズムが開発できる.
|