2019 Fiscal Year Annual Research Report
High efficiency light field coding based on a new compression principle
| Project/Area Number |
18H03261
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
藤井 俊彰 名古屋大学, 工学研究科, 教授 (30273262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437)
寺谷 メヘルダド 名古屋大学, 工学研究科, 特任准教授 (70554830) [Withdrawn]
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ライトフィールド / 情報圧縮 / テンソルディスプレイ / 符号化開口カメラ |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、ライトフィールドの高効率な圧縮手法の検討であり、国際標準符号化方式(HEVC等)の原理である「予測符号化、変換符号化」とは全く異なる原理に基づく手法を開拓することである。今年度はまず、少ない枚数の表現形式から多視点画像を再構成する手法について研究した。これまで研究してきたレイヤ型３次元ディスプレイについて、液晶ディスプレイなどの光を減衰させる減衰型か、ホログラフィック光学素子やハーフミラー等を用いて複数の画像を重畳させる加算型かにより、再構成性能がどの程度異なるかについて実験を行った。また、減衰型でも加算がたでもない新たな演算特性を持つディスプレイの検討や非負値テンソル分解や最小２乗法など最適化手法が異なる場合についても再構成品質の評価を行った。次に、少ない枚数の撮影画像から光線空間データを再構成できる符号化開口カメラについて検討した。符号化開口を通して撮影した2,3枚の撮影画像から深層学習を用いて光線空間を再構成するネットワークを構成した。開口パターンの決定についても学習パラメータの一つとして学習を行、End-to-Endで学習させることにより、高品質な再構成を達成した。また、その他の多視点画像を再構成する技術として、２値画像の線形和を用いた多視点画像の表現や光線空間データのスパース性を用いた多視点画像補間についても検討した。さらに、多視点画像を既存の国際標準符号化方式を使った場合にどこまで圧縮が可能なのかを検証するために多視点画像の符号化の順番を巡回セールスマン問題を解くことにより最適化して、HEVCを利用して多視点画像を圧縮符号化した。その発展として、オートエンコーダを用いて潜在表現を得て、それをHEVCを用いて圧縮する実験を行い、従来法を超える圧縮効率を達成した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は、初年度に検討をしたテンソルディスプレイと符号化開口カメラのそれぞれについて、さらに詳細な検討を行った。レイヤディスプレイの種類や最適化方法による違いを評価したり、符号化開口カメラのイメージャがBayer配列であることを陽に用いた学習手法などを提案し、性能の向上を確認した。さらに、他の多視点画像再構成の手法についても検討を行い、２値画像の線形和でも十分な品質での多視点画像の再構成に成功しているほか、情報圧縮という観点からは国際標準規格の圧縮符号化法を多視点画像に効率よく適用する手法についても検討し、従来法を上回る結果を達成している。
|
| Strategy for Future Research Activity |
これまでの2年間で得られた知見を元にして、ライトフィールドがもつ本質的な情報へと迫っていく。近年では、ライトフィールの取得においても表示におけるレイヤパターンの計算においても深層学習を用いる手法が広く検討されている。従来の解析的な手法とは異なり、深層学習による手法では高性能な復元は達成可能であっても、どの情報が本質的な情報なのか、という点については分かりにくいことが多い。敵対的な学習などの手法を用いることで、真にライトフィールド再構成に必要な情報の解明に迫っていく。
|
