Study on multi-view video compression with fast and efficient encoding of dense light fields

2023 Fiscal Year Final Research Report

• Project/Area Number: 20H04216
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: National Institute of Informatics
• Principal Investigator: Kodama Kazuya 国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: ３次元画像 / 光線 / 多眼 / 圧縮 / 符号化

Outline of Final Research Achievements

We have previously proposed high efficiency multi-view image compression via multi-focus images synthesized from dense light fields. In this study as its extension, we aimed to develop an encoding scheme that can be applied to multi-view videos composed of dynamic light fields. Instead of ordinary 2-D motion compensation analyzing various kinds of disparity on multi-view videos independently, our novel 3-D motion compensation effectively works for synthesized multi-focus videos corresponding to the 3-D scene, where fast and efficient encoding of dense light fields can be achieved. We also studied lightweight transform between multi-view videos and multi-focus videos and adaptive filters dealing with its residuals. They are integrated into our novel multi-view video compression, that robustly eliminates structured redundancy on dynamic light fields.

Free Research Field

画像情報処理

Academic Significance and Societal Importance of the Research Achievements

３次元画像技術は、単にステレオ映像を用いて両眼立体視したり、静的な撮影対象を自由な視点から観察したり、といった実装規模を抑えやすい課題を越え、超多眼化と動画化が並行して進んでいる。実際、「像」ではなく、それを発生させる「光線」そのものを情報として扱い、いわば＜完全な光線場＞を取得、再現しようとする先端的な視覚環境の構築が、新たに重要な課題となってきた。本研究では、こうした稠密かつ動的な光線情報が有する莫大なデータを、高速、高能率に圧縮する符号化を提案、その簡便な蓄積や伝送を実現した。これにより、当該の高度な視覚環境も柔軟に共有可能となり、本格的な実証段階への展開を拓いた。