| 研究概要 |
本研究では記憶装置の計算機システムのネットワーク構造やメモリ階層構造を意識しながら大容量ストレージやネットワーク上に蓄積された膨大なデータを効率的な活用するための礎となる実用的高速検索・計算システムを構築することを目標としている.
研究最終年度にあたる本年度において,代表者の稲葉はこれまで並行して進めてきた二つの研究テーマすなわち(a)圧縮データ構造による検索のハードウェアによる高速化,および(b)階層キャッシュ・階層メモリ・ハードディスク・ネットワークデータといった,レイテンシーの違いを考慮した最適化の研究開発を行い,それぞれの成果を総括することを行った.圧縮データ構造を使った検索システムについてはFPGA上で,ビットマニピュレーションを高速に行うことで探索が高速化され,実際のDNAの塩基配列のデータを用いた実験で,6倍程度の高速化が達成された.当初目標にしていたソフトウェアに比べて10倍以上という値よりも性能向上が低かった一つの原因は,ホストとFPGAボード間のデータ転送の際のバスボトルネックによる性能の頭打ちによることを確認した.また,FPGA1個によるシステムではなく,FPGA 5個をRocket-IOにより完全結合させたFPGAシステムを作成し,その上で,通信の高速化をはかるためのファームウェアの開発に力を注いだ.
また,平成19年度および20年度にかけて大きな成果を出した,整数計画法を用いて,プロセッサおよびメモリ階層の定式化および最適化の研究に引き続き取り組んだ.平成21年度は,メモリ階層に加え,パイプラインを意識し,プログラムコードをもとにして行うデータ転送コスト静的最適化の研究に特に力を入れ,その成果をネットワーク層にも応用することができた.
さらに,大容量ストレージやネットワーク上に蓄積された膨大なデータを活用するため,遠隔地分散巨大ストレージ環境を構築し,分散環境で大容量データを取り扱うシステムを構成した.具体的には,ソリッドステートドライブ(SSD)8台構成のRAIDシステムを複数構成し,Linuxのsendfile機能を用いて,データ送出を行い,性能の評価を行った.sendfileに対応する受け取り側のrecvfileにあたるものは,Linuxでは提供されていないため,recvfileに相当する受け取り機能の実装を行い単体および複合性能評価を行い,日仏間および日米間の実際のネットワーク回線を用いて実際に大規模なファイルデータ転送実験を行った.特に2009年11月に行った日米間の転送実験においては,ユーザインターフェースとして,ウェブブラウザを利用することでユーザビリティの向上につとめた.具体的には,一般に広く使われているFirefoxブラウザのプラグインを開発,チューニングしたApacheと組み合わせることにより,一般ユーザがネットワークを意識することなく利用可能なアプリケーションUsadaFoxを,コモディティPCの上に実現した.米国ポートランドで行われたSC09においてこのUsadaFoxによるデータ転送方式が評価され,Bandwidth Challenge Impact Awardを受賞した.
一方で,稲葉は平成16年度から平成20年度にかけて「分散共有型研究データ利用基盤の整備」GRAPE-DRシステムの開発にも携わっており,このデータ利用基盤は,独自開発したASICとFPGAを搭載した加速ボードが2枚ずつ,500台のホストサーバに搭載されたクラスタシステムで超並列高速計算機構とネットワーク分散ストレージからなっており,この超並列システムを使いこなすことを目標として,より使いやすいスクリプト言語による超並列計算サポートの枠組を,計算の最適化手法と並行して検討,検証を行った.
また,最終年度としてこれまでの研究成果をまとめあげ,国内外の学会において外部発表を積極的に行った.
|
