2015 Fiscal Year Research-status Report
圧縮したまま演算可能なデータ表現に基づくスマートストレージの開発
| Project/Area Number |
15K15958
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2015-04-01 – 2017-03-31
|
| Keywords | 簡潔データ構造 / 文字列処理 / ビッグデーター応用 / 高速ストレージ |
|---|
| Outline of Annual Research Achievements |
文字列処理，グラフ処理，データマイニングなどの様々なビッグデーア応用の高速化は重要であるが，データ量が膨大でありデータ転送が処理のボトルネックになっている．本研究では，圧縮データのまま計算できる簡潔データ構造に着目し，演算回路と記憶素子を一体化したスマートストレージの開発を目的とする．
初年度では，ハードウェア向き文字列処理用簡潔データ構造の開発，およびスマートストレージの基本構成の開発に着目する．本研プロジェクトの対象のハードウェア向きデータ構造には以下の点を重視する．
1. データ全体の伸張は不要
2. 任意の場所からアクセス可能
この条件を満たすデータ構造では，元の文字データのどの部分が圧縮データのどの部分に対応するのかが大事である．従来の圧縮方法では文字列データ全体の圧縮しか考えられていなく，データの対応関係が無視される．本研究では文字列データを同じサイズのブロックに分割し，ブロックごとに圧縮する．しかしながら，ブロックごとに圧縮が異なり，圧縮後のブロックサイズが一様にならない．その場合は，最長ブロックサイズに合わせられ，全体の圧縮率が悪くなる．この問題を解決するため，ブロックの類似度によりクラスタリングし，各クラスターごとに共通辞書を用いワードペアエンコーディング方法で圧縮する簡潔データ構造を提案した．提案データ構造ではデータ量が73%までに圧縮され，記憶素子へのアクセスが27%削減できた．この成果を国際会議や論文誌において発表している．文字列処理の一例であるゲノム配列アラインメントをFPGAというプログラム可能なハードウェアで実装し，従来に比べ22倍以上の性能向上が達成できている．
また，FPGAと外部メモリ・内部メモリからなるスマートストレージの基本構成を確立され，現在処理の実装に必要なプロセッサーアーキテクチャの開発を行われている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
現在までは，ハードウェア向き簡潔データ構造とスマートストレージの基本構造の開発を行った．文字列データ処理に関しては簡潔データ構造を提案し，そのアルゴリズム，ソフトウェアなどをすでに確立されている．また，その有効性については実験により明らかになっている．ビッグデータ応用への適応に関しては現在，文字列処理におけるテキスト検索やゲノム配列のアラインメントを実装し，その性能を評価している．スマートストレージ内部で演算を行うためのプロセッサーアーキテクチャについては研究を進んでおりFPGAというプログラム可能なハードウェアで実装を予定している．
スマートストレージの基本構造をメモリとFPGAハードウェアにより構成し，その構造に，ハードディスク，SSDなどの大容量の記憶素子を取り入れるための研究を進んでいる．
|
| Strategy for Future Research Activity |
現在はストレージあるいは記憶素子としてメモリをを使いそのアクセス回数を最小限にし，高速な処理を行っている．しかしながら，ビッグデータではさらに大きいフラッシュメモリ，SSD，ハードディスかなどへのアクセスを考えなければならない．このような大きなストレージに提案の簡潔データ構造を組み込むことについてはこれから研究する．そのために必要なSSD，IPコアを含むソフトウェアなどの購入を予定している．
次年度の研究計画の大まかの流れは以下に示す．
1. スマートストレージの基本構成にSSD，ハードディスクなどの大規模なストレージを取り込む
2. ビッグデータ応用を用いた評価
SSD，ハードディスクなどを取り込むためには，ハードウェア（FPGA）からストレージを操作すのに必要な，IPコア，通信プロトコール，ドライバーソフトウェアなどを開発する．SSD，外部メモリ，内部メモリからなる階層的ストレージ構造において，各ストレージごとにデータ構造を階層化することやストレージ間の通信などについて研究する．複数のFPGAやストレージからなる大規模なスマートストレージシステムへの展開を予定している．そのため，FPGA間でデータを40Gbps以上の速度で高速通信可能な光通信の導入について研究する．
また，ビッグデータ処理を実装しその性能評価を行う．従来のスーパーコンピュータSX-9（18ノード，1ノードあたり16CPU、1CPUあたり102GFLOPS）と比較し評価する．
|
Research Products
(6 results)
