2020 Fiscal Year Annual Research Report
High efficiency light field coding based on a new compression principle
| Project/Area Number |
18H03261
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
藤井 俊彰 名古屋大学, 工学研究科, 教授 (30273262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 光線空間 / ライトフィールド / 情報圧縮 / テンソルディスプレイ / 符号化開口カメラ |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、ライトフィールドの高効率な圧縮手法の検討であり、国際標準符号化方式(HEVC等)の原理である「予測符号化、変換符号化」とは全く異なる原理に基づく手法を開拓することである。一つ目に着目した手法は符号化開口カメラによるライトフィールドの取得であり、深層学習(DNN)を用いた昨年度の手法を拡張することにより、動的なライトフィールドデータを取得することに成功した。二つ目の手法であるレイヤ型３次元ディスプレイに関する研究では、高解像度モノクロレイヤを用いることで品質の向上ができることや、視域の外挿を可能にするCNNの学習手法について検討を進めた。これらの知見により、少ない枚数の中間表現においてライトフィールドの本質的情報が含まれていることを確認できた。また、既存の国際標準符号化方式（HEVC）を利用した方式として、DNNにより多視点画像の基底を構成し、昨年度検討した符号化順の並び替えを併用することにより高い符号化性能が得られることを実証した。さらに今年度の新たな取り組みとして、DNNを上記とは異なるシナリオで利用した符号化法に検討を広げた。一つ目は、視差推定能力を活かした符号化法である。多視点画像、または単一視点の画像からの視差推定ネットワークを構築し、多視点画像の生成能力を検証した。二つ目として、オートエンコーダを過学習させ、潜在表現と複合に必要なネットワークの重みを符号化情報として伝送する方式の検討をした。さらに、レイヤ型３次元ディスプレイの発展形として、MPI(Multi Plane Image)によるライトフィールドの表現形式についての検討を行い、DNNによる処理との組み合わせによって、新たな符号化方式の可能性を見出した。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
-
-
-
-
[Journal Article] Roadmap on 3D integral imaging: sensing, processing, and display2020
Author(s)
Bahram Javidi, Artur Carnicer, Jun Arai, Toshiaki Fujii, Hong Hua, Hongen Liao, Manuel Martテュnez-Corral, Filiberto Pla, Adrian Stern, Laura Waller, Qiong-Hua Wang, Gordon Wetzstein, Masahiro Yamaguchi, and Hirotsugu Yamamoto
-
Journal Title
OPTICS EXPRESS
Volume: Vol. 28(22)
Pages: 32266-32293
DOI
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
