研究課題
本研究の目的は、ライトフィールドの高効率な圧縮手法の検討であり、国際標準符号化方式(HEVC等)の原理である「予測符号化、変換符号化」とは全く異なる原理に基づく手法を開拓することである。一つ目に着目した手法は符号化開口カメラによるライトフィールドの取得であり、深層学習(DNN)を用いた昨年度の手法を拡張することにより、動的なライトフィールドデータを取得することに成功した。二つ目の手法であるレイヤ型３次元ディスプレイに関する研究では、高解像度モノクロレイヤを用いることで品質の向上ができることや、視域の外挿を可能にするCNNの学習手法について検討を進めた。これらの知見により、少ない枚数の中間表現においてライトフィールドの本質的情報が含まれていることを確認できた。また、既存の国際標準符号化方式（HEVC）を利用した方式として、DNNにより多視点画像の基底を構成し、昨年度検討した符号化順の並び替えを併用することにより高い符号化性能が得られることを実証した。さらに今年度の新たな取り組みとして、DNNを上記とは異なるシナリオで利用した符号化法に検討を広げた。一つ目は、視差推定能力を活かした符号化法である。多視点画像、または単一視点の画像からの視差推定ネットワークを構築し、多視点画像の生成能力を検証した。二つ目として、オートエンコーダを過学習させ、潜在表現と複合に必要なネットワークの重みを符号化情報として伝送する方式の検討をした。さらに、レイヤ型３次元ディスプレイの発展形として、MPI(Multi Plane Image)によるライトフィールドの表現形式についての検討を行い、DNNによる処理との組み合わせによって、新たな符号化方式の可能性を見出した。
令和2年度が最終年度であるため、記入しない。
すべて 2021 2020
すべて 雑誌論文 (4件) (うち国際共著 1件、 査読あり 4件、 オープンアクセス 4件) 学会発表 (26件) (うち国際学会 4件、 招待講演 3件) 産業財産権 (1件)
ITE Transactions on Media Technology and Applications
巻: Vol. 9(1) ページ: 86--94
10.3169/mta.9.86
巻: Vol. 9(1) ページ: 25--32
10.3169/mta.9.25
IEEE Access
巻: Vol. 8 ページ: 179094--179104
10.1109/ACCESS.2020.3027372
OPTICS EXPRESS
巻: Vol. 28(22) ページ: 32266-32293
10.1364/OE.402193
