2023 Fiscal Year Final Research Report
Development of optimization technique for data compression by predicting global data entropy
| Project/Area Number |
20H04152
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60040:Computer system-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 吉伸 大阪大学, 大学院情報科学研究科, 教授 (00514796)
和田 耕一 筑波大学, システム情報系, 名誉教授 (30175145)
坂本 比呂志 九州工業大学, 大学院情報工学研究院, 教授 (50315123)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | データ圧縮 |
|---|
| Outline of Final Research Achievements |
This project found a principle that predicts realtime entropy of a continuous data stream based on the occupation ratio of the lookup table in the compressor. The table manages original data to generate the compressed ones. Based on the finding, this project developed a lossless data compressed that shrinks a data unit to a single bit at least. We developed a method called Adaptive Stream-based Entropy Coding. The data entropy predicted by our mechanism follows Shannon's entropy and represents the global data entropy. The experimental results show that ASE Coding invokes the most effective realtime compression. We also developed a hardware-oriented algorithm that compresses/decompresses any continuous data stream in real time. We also demonstrated that the compressor/decompressor is implemented compactly in hardware and works in high speed.
|
| Free Research Field |
計算機アーキテクチャ
|
| Academic Significance and Societal Importance of the Research Achievements |
従来からのデータストリームを扱う圧縮器の内部動作を元にして、局所のエントロピーの変化を監視することで、大域的なエントロピーを求められる原理を解明した。圧縮器に、未来に入力されるデータの傾向を予測して、圧縮器での符号の決定ができれば、局所的なデータの出現傾向に動的に従い、最適な圧縮率を得られるのではないか？という学術的な疑問に対し、その方法を解明した。ハードウェア実装できるアルゴリズムを開発し、ロスレス圧縮方式を開発した。IoTやAIにおける、通信データ量の増大やストレージの小型化といった今後発展していくビッグデータ時代の産業に応用できる。
|
