High efficiency light field coding based on a new compression principle

2020 Fiscal Year Final Research Report

• Project/Area Number: 18H03261
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Nagoya University
• Principal Investigator: Fujii Toshiaki 名古屋大学, 工学研究科, 教授 (30273262)
• Co-Investigator(Kenkyū-buntansha): 高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437) ; 寺谷 メヘルダド 名古屋大学, 工学研究科, 特任准教授 (70554830)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 光線空間 / ライトフィールド / 情報圧縮 / テンソルディスプレイ / 符号化開口カメラ

Outline of Final Research Achievements

High efficiency light field (LF) coding schemes have been investigated that are based on different principal from conventional predictive coding and transform coding. First, we studied LF acquisition using coded-aperture camera and succeeded to acquire dynamic LF data with DNN-based learning network. We also investigated layer-type 3D displays, which enable us to generate LFs from only a few layer patters. We improved the quality of the generated LFs using high resolution monochrome layers, and also achieved extrapolation of views through CNN-based learning network. We confirmed through these experiments that such representations as coded-aperture pattern and layer-pattern include essential information about LF. These findings give an important insight to develop high efficiency LF coding schemes in the future.

Free Research Field

３次元画像通信

Academic Significance and Societal Importance of the Research Achievements

近年のVR/ARの社会的認知度の向上に伴い、ライトフィールド(LF)を取得するカメラやLFディスプレイが脚光を浴びている。本研究成果は、LFカメラやLFディスプレイが通信や放送に利用される際に必須となるLFの情報圧縮技術の高性能化に貢献するものである。従来は、HEVCやVVCなどの２次元映像符号化方式のLF３次元映像への拡張が検討されていた。本研究は、全く別の文脈で研究されていた「圧縮取得」や「圧縮表示」の考え方を応用し、従来の画像符号化の基本原理である予測符号化・変換符号化とは全く異なる新しい符号化方式の創出が可能であることを示し、さらなる高圧縮化が達成可能であることを示した。