| 研究概要 |
天文学、生命科学、地質といった科学技術分野で、国際的な情報共有が進んでいる。今後、学際的に巨大データを扱うデータ指向の科学においで、蓄積された膨大な科学技術データの中から有益な知見を見出すための高度なデータ分析技術の重要性が増すのは必至である。しかし、従来のデータベースシステムは細かい粒度のトランザクション処理を想定して設計されているため、バッチ的に複雑なデータ分析処理を扱うのは不向きである。現状のオープンソースの関係データベースは扱えないような100GB以上～ペタバイトの範囲のデータを扱うことは困難である。科学者が大規模データから有益な知識を得るためには、テラ～ペタバイト級の科学技術データを扱うことが可能な分析データベースシステムの整備が急務である。
こうした背景を受けて、本研究では、22-23年の二年計画でテラ～ペタバイト級の科学技術データを扱うためのデータ分析基盤を開発している。特に,科学技術データを適用対象とし,ゲノム情報処理等の分野融合プロジェクトへ最終的に適用することを目指している。
平成22年度は、申請者が研究開発中の汎用の分析データベースを科学技術データベース用途に移植を行った。これによって、最終的な達成にむけて、基礎とするシステムの実装と評価を完了した。
現時点の成果としては、33台の計算機クラスタ環境において、競合システムHadoop/Hiveに対して顕著な性能面での優越(最大22.3倍、平均8.97倍)があることを確認している。また、本研究で開発したデータ分割配置手法の特許申請を行った。
分野融合プロジェクトへの適用については、産業技術総合研究所の地球観測グリッド研究グループが参加する月周回衛星「かぐや」(http://www.kaguya.jaxa.jp/)のスペクトルデータの解析に本研究の成果を適用することを目標に、予備的な評価をおこなった。
|
