|
望遠鏡や観測装置の巨大化・複雑化により、そこから得られる天文データが指数関数的に増加している。この増加に安価に対処する方法として民間のクラウド・コンピューティング・サービスに目を付け、分散処理フレームワークHadoopおよびその上で動くHiveにより巨大な天文データを処理する方法論に関して基礎的な調査・開発を行った。その時々の処理内容に応じて必要な計算機資源時間貸しするサービスを利用し、Hiveのパーティショニングにレベル6のHEALPixを、HiveのエンジンにTezを、データベースのファイル形式にORC形式を使用するのが最適であるという結論を得た。
|
