Development of an Analytical Database System for Large Scientific Data

• Project/Area Number: 22800086
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Single-year Grants
• Research Field: Media informatics/Database
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: YUI Makoto 独立行政法人産業技術総合研究所, 情報技術研究部門, 研究員 (10586712)
• Project Period (FY): 2010 – 2011
• Project Status: Completed (Fiscal Year 2011)
• Budget Amount: ¥3,146,000 (Direct Cost: ¥2,420,000、Indirect Cost: ¥726,000); Fiscal Year 2011: ¥1,508,000 (Direct Cost: ¥1,160,000、Indirect Cost: ¥348,000); Fiscal Year 2010: ¥1,638,000 (Direct Cost: ¥1,260,000、Indirect Cost: ¥378,000)
• Keywords: データベース管理システム / eサイエンス / 並列データベースシステム / 分散処理システム / DBMS / 並列データベース / 科学技術データ処理 / 情報システム

Research Abstract

Rapid growth in the volumes of scientific data has led to unprecedented challenges in current data management systems specialized for transactional processing. In this research, we have developed an analytical database system for large scientific data. The results of experimental evaluation showed that our system is much faster(up to 22.3x and 8.97x on average) than a MapReduce-based system(Hive) on TPC-H SF=100.

Research Products

• [Journal Article] タプル再分散不要の並列データベース構成法 (2011)
  • Author(s): 油井誠,小島功
  • Journal Title: 情報処理学会論文誌:データベース Volume: Vol.4, No.4 Pages: 11-33
  • NAID: 40019257614
  • URL: http://id.nii.ac.jp/1001/00079662/
  • Peer Reviewed
• [Journal Article] タプル再分散不要の並列データベース構成法 (2011)
  • Author(s): 油井誠、小島功
  • Journal Title: 情報処理学会論文誌:データベース Volume: 4 Pages: 11-33
  • NAID: 40019257614
  • Peer Reviewed
• [Presentation] SQLET : A Database Programming Language and Execution Environment for Parallel SQL Processing running on Plain RDBMSs (2012)
  • Author(s): Makoto Yui and Isao Kojima
  • Organizer: 第4回データ工学と情報マネジメントに関するフォーラム(DEIM2012)論文集D2-5
  • URL: http://db-event.jpn.org/deim2012
  • Place of Presentation: シーサイドホテル舞子ビラ神戸(神戸市)
• [Presentation] SQLET : A Database Programming Language and Execution Environment for Parallel SQL Processing running on Plain RDBMS (2011)
  • Author(s): Makoto YUI, Isao KOJIMA
  • Organizer: 第4回データ工学と情報マネジメントに関するフォーラム
  • Place of Presentation: シーサイドホテル舞子ビラ(神戸)
• [Presentation] 列指向データベースのためのタプル再分散不要の並列データベース構成法 (2010)
  • Author(s): 油井誠、小島功
  • Organizer: Webとデータベースに関するフォーラム(WebDB Forum 2010)
  • Place of Presentation: 早稲田大学理工学術院
  • Year and Date: 2010-11-12
• [Presentation] Nb-GCLOCK : A Non-blocking Buffer Management based on the Generalized CLOCK (2010)
  • Author(s): 油井誠
  • Organizer: 第7回 先端的データベースとWeb技術動向講演会(ACM SIGMOD日本支部第44回支部大会)
  • Place of Presentation: 東京工業大学大岡山キャンパス
  • Year and Date: 2010-06-12
• [Patent(Industrial Property Rights)] 表データのデータ処理方法、データ処理システムおよびそのコンピュータプログラム (2010)
  • Inventor(s): 油井誠
  • Industrial Property Rights Holder: 独立行政法人産業技術総合研究所
  • Industrial Property Number: 2010-232069
  • Filing Date: 2010-10-15