超巨大天文データからなる全天アーカイブをHadoopにより超低費用で実現する研究

• 研究課題/領域番号: 15K17501
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: 計算科学
• 研究機関: 福岡大学
• 研究代表者: 江口 智士 福岡大学, 理学部, 助教 (40647202)
• 研究期間 (年度): 2015-04-01 – 2018-03-31
• 研究課題ステータス: 完了 (2017年度)
• 配分額: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円); 2016年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2015年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
• キーワード: バーチャル天文台 / ビッグデータ / 分散コンピューティング / クラウドコンピューティング / Hadoop / Hive / データベース / ALMA望遠鏡 / アルゴリズム

研究成果の概要

望遠鏡や観測装置の巨大化・複雑化により、そこから得られる天文データが指数関数的に増加している。この増加に安価に対処する方法として民間のクラウド・コンピューティング・サービスに目を付け、分散処理フレームワークHadoopおよびその上で動くHiveにより巨大な天文データを処理する方法論に関して基礎的な調査・開発を行った。その時々の処理内容に応じて必要な計算機資源時間貸しするサービスを利用し、Hiveのパーティショニングにレベル6のHEALPixを、HiveのエンジンにTezを、データベースのファイル形式にORC形式を使用するのが最適であるという結論を得た。

研究成果

• [雑誌論文] Compton thick absorber in type 1 quasar 3C 345 revealed by Suzaku and Swift/BAT (2017)
  • 著者名/発表者名: Eguchi Satoshi
  • 雑誌名: Monthly Notices of the Royal Astronomical Society 巻: 468 号: 4 ページ: 4529-4538
  • DOI: 10.1093/mnras/stx754
  • 査読あり
• [雑誌論文] Pre-feasibility Study of Astronomical Data Archive Systems Powered by Public Cloud Computing and Hadoop Hive (2017)
  • 著者名/発表者名: Satoshi Eguchi
  • 雑誌名: Astronomical Data Analysis Software and Systems XXVI 巻: 印刷中
• [雑誌論文] Blade Runner -What kind objects are there in the JVO ALMA Archive?- (2016)
  • 著者名/発表者名: Satoshi Eguchi, Yuji Shirasaki, Christopher Zapart, Masatoshi Ohishi, Yoshihiko Mizumoto, Wataru Kawasaki, Tsuyoshi Kobayashi, George Kosugi
  • 雑誌名: Astronomical Data Analysis Software and Systems XXV 巻: 印刷中
• [学会発表] 「すざく」およびSwift/BATで明らかになった1型クエーサー3C 345の光学的に非常に分厚い吸収体 (2017)
  • 著者名/発表者名: 江口 智士
  • 学会等名: 日本天文学会
• [学会発表] Pre-feasibility Study of Astronomical Data Archive Systems Powered by Public Cloud Computing and Hadoop Hive (2016)
  • 著者名/発表者名: Satoshi Eguchi
  • 学会等名: Astronomical Data Analysis Software and Systems XXVI
  • 発表場所: Stazione Marittima Conference Centre, Trieste, Italy
  • 年月日: 2016-10-17
  • 国際学会
• [学会発表] Blade Runner -What kind objects are there in the JVO ALMA Archive?- (2015)
  • 著者名/発表者名: Satoshi Eguchi
  • 学会等名: Astronomical Data Analysis Software and Systems XXV
  • 発表場所: Rydges World Square Sydney, Australia
  • 年月日: 2015-10-25
  • 国際学会
• [学会発表] JVO ALMAアーカイブの天体同定(I) (2015)
  • 著者名/発表者名: 江口 智士
  • 学会等名: 日本天文学会2015秋季年会
  • 発表場所: 甲南大学
  • 年月日: 2015-09-09