Ultra low-latency video coding for 8K high-resolution image sensing

2023 Fiscal Year Final Research Report

• Project/Area Number: 20H04181
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60060:Information network-related
• Research Institution: Nihon University
• Principal Investigator: MATSUMURA Tetsuya 日本大学, 工学部, 教授 (50713129)
• Co-Investigator(Kenkyū-buntansha): 今村 幸祐 金沢大学, 電子情報通信学系, 准教授 (00324096) ; 金本 俊幾 弘前大学, 理工学研究科, 教授 (30782750)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 低遅延 / 動画像符号化 / 動き予測 / 直交変換 / CAVLC

Outline of Final Research Achievements

We proposed a line-based coding method for ultra-low latency video coding for 4K/8K-level high-definition images, and verified its effectiveness through implementation. We have implemented and verified several coding tools such as reduced frame memory structure for inter-prediction method, deep learning based inter-prediction method, DCT/DST mixed orthogonal transform method, line-based CAVLC, variable block size selection method, etc., as new methods. As a result, we achieved an overall compression ratio of 5% to 10% with a low latency on the order of 1/1000 of a microsecond. This research has provided knowledge on how to achieve the functions and low cost required for edge devices in low-latency image transmission equipment.

Free Research Field

情報通信ネットワーク

Academic Significance and Societal Importance of the Research Achievements

4K/8Kレベルの高精細画像向けの超低遅延動画像符号化方式において，ラインベースの符号化手法を実装し検証した．この超低遅延動画像符号化方式は5％～10％の圧縮率を，従来の1/1000のマイクロ秒オーダーの低遅延を実現可能である．またハードウェアに実装する場合も小フレームメモリ構造を可能とするなど低コストで高精細画像伝送機器を実現できる見通しを得た．低遅延性が要求される応用製品は今後拡大すると想定され，この非標準の高精細画像向けの超低遅延動画像符号化方式に関する知見は有用であり，基盤技術として自動運転，自律型ロボット，医療機器，ゲームなどのIoTの進展に大きく貢献すると考えられる．