High Performance Data Processing System for Ad-hoc Data

2021 Fiscal Year Final Research Report

• Project/Area Number: 16H01715
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Software
• Research Institution: The University of Tokyo
• Principal Investigator: Taura Kenjiro 東京大学, 大学院情報理工学系研究科, 教授 (90282714)
• Project Period (FY): 2016-04-01 – 2021-03-31
• Keywords: 大規模データ処理 / ad-hocデータ処理 / 字句解析 / 構文解析 / データ抽出

Outline of Final Research Achievements

Toward the goal of high performance text processing using parallelization and vectorization, we studied lexer (or parser) generators that generate parallelized/vectorized lexers (or parsers) from regular expressions or context free grammars. We investigate an approach that vectorizes scannerless parser and an approach that parallelizes both lexers and locally parsable (thus relatively simple-to-parallelize) parsers.

Free Research Field

並列処理

Academic Significance and Societal Importance of the Research Achievements

データ活用はSociety 5.0の要諦である. 多くの利用可能なデータはテキスト形式で保存されている(XML, JSONなど標準的な形式のものもあれば, 決まった形式のないものもある). 文字列に対するデータ処理の一番はじめの段階が字句解析または構文解析と呼ばれる, 一種のパターンマッチング処理である. 本研究はそれらを容易に, かつ高速に処理することを目指したもので, 社会で利用可能なビッグデータの増大に対して有用な貢献を果たしうる研究である.