| 研究概要 |
本研究では,記憶装置の階層構造を考慮しながら大容量ストレージやネットワーク上に蓄積された膨大なデータを科学技術研究の現場で活用するための礎となる実用的高速検索システムを構築することを最終的な目標としている.
この目標に向かって,計画3年目にあたる20年度においては,分散処理を行うためのデータ構造およびアルゴリズム開発をメインターゲットとし,ローカルなクラスタ,あるいはネットワーク上に分散したデータを多面的に扱うためのグリッドに対応した超巨大データを扱うための検索システムを提案することに注力した.また,我々の提案,すなわちメモリ階層を考慮しつつデータや索引部を圧縮することで検索速度を上げるという手法の開発が,実際に超特大規模データ処理に役に立ち,スケーラブルであることの実証にも取り組んだ.
研究体制としては,これまでと同様に研究代表者の稲葉と連携研究者の今井・定兼による高速アルゴリズムグループが圧縮データ構造の研究および理論的解析を担当し,稲葉と連携研究者の菅原からなるシステム開発グループがハードウェアによる高速化および分散処理の研究開発を担当する,という形で研究を進め,これら二つのグループに分かれての作業を代表者の稲葉が総括することを行った.
具体的には,定兼は巨大データから高速に索引を作成するアルゴリズムの考案に取り組んだ.今井は高速化を図ると同時に,ハードウェアによる検索とソフトウェアによる検索,メモリ階層全体を統一して扱うための枠組みをモデル化し,理論的な解析,最適化を行った.菅原はライン内索引データの一括検索処理を行うために,限られたクロックサイクルで高速処理を行うためのFPGA並列処理用アルゴリズムを考案し,その有効性をシミュレーションで実証する実験を進めた.研究代表者の稲葉は,検索および前処理の高速化のための分散化およびデータ更新アルゴリズム,さらに複数ボードの搭載およびホストCPUを利用した検索結果の応用処理を担当した.
先に挙げた平成20年度の指針の中でも,特に実際に大容量データを取り扱うことを優先的な目標としていたため,さらなる計算環境の充実のためにRAIDストレージを導入することを行った.また高速検索のための分散処理化の比重を,高速アルゴリズム担当グループ,システム作成グループともに,より高くした.
また,研究の遂行と並行して,研究過程で得られた成果について国際学術誌や国内外での学会等で積極的に発表を行うことも随時行った.
|
