2018 Fiscal Year Annual Research Report
High efficiency light field coding based on a new compression principle
| Project/Area Number |
18H03261
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
藤井 俊彰 名古屋大学, 工学研究科, 教授 (30273262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437)
寺谷 メヘルダド 名古屋大学, 工学研究科, 特任准教授 (70554830)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ライトフィールド / 情報圧縮 / テンソルディスプレイ / 符号化開口カメラ |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、ライトフィールドの高効率な圧縮手法の検討であり、国際標準符号化方式（HEVC等）の原理である「予測符号化、変換符号化」とは全く異なる原理に基づく手法を開拓することである。一つ目に着目した手法はテンソルディスプレイを応用した手法である。テンソルディスプレイとはバックライトの前に透過型液晶ディスプレイを複数配置した構造を持つものであり、例えば数百枚の視差画像に相当するライトフィールドを3枚のレイヤパターンから生成できるものである。圧縮伝送という観点から、ライトフィールドをそのままHEVCで圧縮する手法と、送信側で数枚のレイヤパターンに変換してその後にHEVC伝送する手法の比較検討を行った。その結果、両者のレート歪み特性に大きな違いはないという知見が得られた。二つ目に着目した手法は符号化開口カメラによるライトフィールドの取得である。深層学習を用いることにより、符号化開口カメラにより撮影した数枚の撮影パターンから25枚のライトフィールド画像を再構成することに成功した。1枚のみでは再構成画像の品質がよくないものの、最低2枚用いることにより十分な性能が出ることを確認した。このほか、数枚-十数枚の2値画像と視点に依存する重み係数によってライトフィールドを再構成する新たな手法を検討し、重み係数を可逆符号化をすることによってJPEGと同等の性能が得られることを確認した。テンソルディスプレイ、符号化開口カメラ、2値画像表現のいずれも従来の符号化性能を大きく上回るものではないものの、予測符号化、変換符号化とは全く異なる原理に基づいて従来と同等の性能が得られることを実験的に確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度の目標であったテンソルディスプレイと符号化開口カメラのそれぞれの特性評価について、実際のライトフィールドの再構成実験を行って確認することができた。また、2値画像と重み係数を用いた新しいライトフィールドの表現手法についても実験的に性能を評価することができた。
|
| Strategy for Future Research Activity |
今年度に得られた知見を元にして、ライトフィールドがもつ本質的な情報へと迫っていく。テンソルディスプレイのレイヤパターンが従来の画像符号化方式では性能が出ない理由について深く追求していく。また符号化開口カメラにより得られたパターンの圧縮符号化についても検討を進めていく。
|
