Fast Information Processing of Large-scale Data Based on a Combination of Compressed Indices and String Compression

2021 Fiscal Year Final Research Report

• Project/Area Number: 18K18102
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: The University of Tokyo
• Principal Investigator: Denzumi Shuhei 東京大学, 大学院情報理工学系研究科, 助教 (90755729)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: データ構造 / 圧縮 / 索引 / 文字列 / 集合族 / 二分決定グラフ / 項分岐決定グラフ / 簡潔データ構造

Outline of Final Research Achievements

In this study, I developed a computational technique for compressed representations that dramatically reduces computation time and space by compressing large-scale data in advance. We proposed compression methods that apply not only to sequence binary decision diagrams but also to various types of decision diagrams and evaluated their performance. These results provide a data structure and algorithm that can further compress a sequence binary decision diagrams representing large-scale sets of strings into a compact size and process them at high speed.

Free Research Field

知能情報学

Academic Significance and Societal Importance of the Research Achievements

人々の生活のあらゆるところに電子機器が浸透し，それらがネットワークにつながることで日々膨大な量のデータが生み出され続けている．そういったデータを解析処理しようとしても爆発的なデータの生成速度に対し通常のアルゴリズムでは処理が追いつかないという問題が広く顕在化している．そのため，文字列集合のみならず集合族なども圧縮して表現することで効率良く扱えるようにする本研究の成果は計算機科学を利用する広範な分野において共通して重要な基盤技術でありその社会的意義も大きい．また，従来の決定グラフの性能をさらに向上させ，より一層の省領域化や多機能化，理論解析を進展させたことは学術的な側面からも意義深い成果である．