String Indexing Based on Space-Optimal Grammar Compression and Its Application to Knowledge Discovery from Stream Data

2020 Fiscal Year Annual Research Report

• Project/Area Number: 18K18111
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 高畠 嘉将 九州工業大学, 大学院情報工学研究院, 特任助教 (20807010)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: データ圧縮 / 圧縮索引 / 文字列検索 / ランダムアクセス

Outline of Annual Research Achievements

本研究ではTBを超えて増加し続ける世代管理システムやゲノムデータベース上の繰り返しの多い文書データを高速かつ省メモリに小さく圧縮しながら，その圧縮データ上でリアルタイムのキーワード検索可能な世界最小の作業領域の圧縮索引の開発を目指しています．本年度も引き続きデータ圧縮およびその圧縮索引への応用に関する以下の二つの成果を上げています．一つ目は文法圧縮と呼ばれるデータ圧縮の中で最高の圧縮率を達成する一方で，メモリ使用量が入力データの10倍近く必要なRePairのメモリ使用量を極限まで削減した，RePairの世界初のIn-Placeアルゴリズムの理論を完成させました．In-Placeアルゴリズムは入力データと定数領域のみのメモリ使用量だけで計算するアルゴリズムです．この成果は国際会議（PSC’20）および国際学術論文誌（Algorithms’20）に採択されています．二つ目は文法圧縮上で全てのデータを復元することなく，指定の位置の部分文字列の高速復元を圧縮データサイズのメモリ使用量で実行する研究です．実用的に59GBのゲノムデータに対して，既存の手法と同等のメモリ使用量を保ちつつ約3.6倍の高速化を果たしました．この成果は国際会議（SPIRE2020）に採択されています．以上のように最終年度もデータ圧縮と目指している圧縮索引の基盤技術に関して，それぞれ，国際会議および国際学術論文誌にて発表しています．

Research Products

• [Int'l Joint Research] Dalhousie University(カナダ)
  • Country Name: CANADA
  • Counterpart Institution: Dalhousie University
• [Int'l Joint Research] University of Piemonte Orientale(イタリア)
  • Country Name: ITALY
  • Counterpart Institution: University of Piemonte Orientale
• [Int'l Joint Research] University of Chile(チリ)
  • Country Name: CHILE
  • Counterpart Institution: University of Chile
• [Int'l Joint Research] University of Siegen(ドイツ)
  • Country Name: GERMANY
  • Counterpart Institution: University of Siegen
• [Journal Article] Re-Pair in Small Space (2020)
  • Author(s): Dominik Koppl, Tomohiro I, Isamu Furuya, Yoshimasa Takabatake, Kensuke Sakai, Keisuke Goto
  • Journal Title: Algorithms Volume: 14 Pages: 1～20
  • DOI: 10.3390/a14010005
  • Peer Reviewed / Open Access
• [Presentation] Practical Random Access to SLP-Compressed Texts (2020)
  • Author(s): Travis Gagie, Tomohiro I, Giovanni Manzini, Gonzalo Navarro, Hiroshi Sakamoto, Louisa Seelbach Benkner, Yoshimasa Takabatake
  • Organizer: The 27th International Symposium on String Processing and Information Retrieval (SPIRE)
  • Int'l Joint Research
• [Presentation] Re-Pair in Small Space (2020)
  • Author(s): Dominik Koppl, Tomohiro I, Isamu Furuya, Yoshimasa Takabatake, Kensuke Sakai, Keisuke Goto
  • Organizer: Prague Stringology Conference (PSC) 2020
  • Int'l Joint Research
• [Remarks] 私（高畠嘉将）のホームページ
  • URL: http://www.donald.ai.kyutech.ac.jp/~takabatake/