Development of fundamental technology for practical use of high-order compression

• Project/Area Number: 18K11149
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60010:Theory of informatics-related
• Research Institution: Hokkai-Gakuen University (2020); Hokkaido University (2018-2019)
• Principal Investigator: Kida Takuya 北海学園大学, 工学部, 教授 (70343316)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Project Status: Completed (Fiscal Year 2020)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2018: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: 高階圧縮 / ラムダ計算 / 文法圧縮 / 大規模データ / 透過的データ圧縮法 / データ圧縮 / 高階関数 / テキストアルゴリズム

Outline of Final Research Achievements

In this study, we develop efficient processing algorithms for a data compression method called higher-order compression. Existing compression algorithms for higher-order compression have the greatest difficulty in processing speed. To perform compression processing at high speed, it is necessary to quickly find common substructures in the input data and extract them as lambda expressions. Finally, we have succeeded in developing an algorithm to quickly extract lambda expressions that represent repetitive parts of the input data. We also studied grammar compression, a subclass of higher-order compression, and developed an efficient algorithm named MR-RePair algorithm, which is a method that can generate theoretically superior grammars.

Academic Significance and Societal Importance of the Research Achievements

本研究の特色は，単に圧縮率もしくは処理速度に優れたデータ圧縮法を開発するのではなく，同時に，圧縮されたデータが活用しやすいものとなるようなデータ圧縮法を目指している点にある．圧縮率，処理速度，データ活用の簡便さはトレードオフの関係にあり両立することが難しい．高階圧縮やそのサブクラスである文法圧縮は，圧縮率とデータ活用の簡便さにおいて優れたものであった．今回の研究で，処理速度についても大きく向上することができた．この研究成果は，現在のインターネット社会の中で日々増大する膨大なデータの保存コストを下げると同時に，データ解析のコストも下げることができる．

Research Products

• [Journal Article] Compaction of Church Numerals (2019)
  • Author(s): Isamu Furuya, Takuya Kida
  • Journal Title: Algorithms Volume: 12(8) Issue: 4 Pages: 159-159
  • DOI: 10.3390/a13040103
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Compaction of Church Numerals (2019)
  • Author(s): Isamu Furuya and Takuya Kida
  • Journal Title: Algorithms (MDPI Journal) Volume: vol. 12, no. 8, 159 Issue: 8 Pages: 1-16
  • DOI: 10.3390/a12080159
  • Peer Reviewed / Open Access
• [Presentation] データ圧縮とパターン照合 (2020)
  • Author(s): 喜田拓也
  • Organizer: スマートインフォメディアシステム研究会 (SIS, IPSJ-AVM, ITE-3DIT合同研究会)
  • Invited
• [Presentation] 最大クリーク発見問題の省メモリアルゴリズム (2020)
  • Author(s): 小畠教寛, 喜田拓也
  • Organizer: 人工知能基本問題研究会
• [Presentation] データストリームのための頻出部分文字列発見アルゴリズム (2019)
  • Author(s): 鳥谷部 直弥，古谷 勇，喜田 拓也
  • Organizer: 第173回アルゴリズム研究会
• [Presentation] MR-RePair: Grammar Compression Based on Maximal Repeats (2019)
  • Author(s): Isamu Furuya, Takuya Takagi, Yuto Nakashima, Shunsuke Inenaga, Hideo Bannai, and Takuya Kida
  • Organizer: Data Compression Conference (DCC2019)
  • Int'l Joint Research
• [Presentation] 極大反復部分文字列に基づく文法圧縮 (2019)
  • Author(s): 古谷 勇，髙木 拓也，中島 祐人，稲永 俊介，坂内 英夫，喜田 拓也
  • Organizer: 第171回アルゴリズム研究会
• [Presentation] データストリームに対する効率良い頻出アイテム発見アルゴリズム (2019)
  • Author(s): 鳥谷部 直弥，喜田 拓也
  • Organizer: 第11回データ工学と情報マネジメントに関するフォーラム(DEIM2019)
• [Presentation] データストリームに対する頻出値問題を解くアルゴリズムの実証実験 (2018)
  • Author(s): 鳥谷部 直弥，谷 陽太，喜田 拓也
  • Organizer: 第17回情報科学フォーラム (FIT2018)