2023 Fiscal Year Annual Research Report
稠密光線場処理に基づく超多眼映像の高速かつ高能率な圧縮符号化技術の研究
| Project/Area Number |
20H04216
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
児玉 和也 国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 3次元画像 / 光線 / 多眼 / 圧縮 / 符号化 |
|---|
| Outline of Annual Research Achievements |
代表者らは従来から静的な稠密光線場の焦点ボケ構造を介した高能率符号化を提案しており、本研究では動的な稠密光線場である超多眼映像の圧縮にこれを拡張することを目的とする。具体的には、撮影対象の３次元分布と良く対応した焦点ボケ画像群上で、視差情報全体が統合的に表現可能な奥行き方向も合わせた動き補償を導入する超多眼映像の高能率符号化を提案し、その軽量化や高速実装による実時間伝送まで含め実証的評価を行う。当該の枠組に加え、基盤となる焦点ボケ画像群への変換の最適化やその残差の符号化に関わるフィルタ設計等も包括的に検討し、視点配置を前提にすることなく動き補償や視差補償をバラバラに組み合わせる形で標準化が進む既存の多視点映像符号化の単なる拡張ではない、強く構造化された動的稠密光線場の本質的冗長性をまとめて抽出削減する圧縮方式を確立する。
本年度は、以上に述べた研究目的の達成に向け、令和４年度までで提案した符号化方式について、各構成要素の成果を組み合わせ、超多眼映像に対する圧縮符号化システムのプロトタイプを構築した。とくに、こうした符号化処理のみならず、あらたに撮像系、伝送系、さらに表示系をも統合したプロトタイプとして、動的な稠密光線場である超多眼映像の簡便な共有を実証した。
具体的に、まず、送信側の撮像系においては、単眼とミラー群の統合に基づく仮想カメラアレイの利点を最大限に活用、4K程度の単眼カメラを介し直接にGPU上へ稠密な光線情報を一括して入力した。これにより、煩雑で一定の遅延が避けられない従来のカメラアレイのような同期機構を排し、さらに、多数の機器が不要となることで、運用上のコストが大幅に抑えられた。また、受信側の表示系においても、柔軟に再構成可能な立体視ディスプレイを導入、伝送された光線情報を提示することで、動的な稠密光線場を簡便に共有する超多眼系の実証的検討を可能とした。
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
