| 研究課題/領域番号 |
20H04216
|
|---|
| 研究機関 | 国立情報学研究所 |
|---|
研究代表者 |
児玉 和也 国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| キーワード | 3次元画像 / 光線 / 多眼 / 圧縮 / 符号化 |
|---|
| 研究実績の概要 |
代表者らは従来から静的な稠密光線場の焦点ボケ構造を介した高能率符号化を提案しており、本研究では動的な稠密光線場である超多眼映像の圧縮にこれを拡張することを目的とする。具体的には、撮影対象の３次元分布と良く対応した焦点ボケ画像群上で、視差情報全体が統合的に表現可能な奥行き方向も合わせた動き補償を導入する超多眼映像の高能率符号化を提案し、その軽量化や高速実装による実時間伝送まで含め実証的評価を行う。当該の枠組に加え、基盤となる焦点ボケ画像群への変換の最適化やその残差の符号化に関わるフィルタ設計等も包括的に検討し、視点配置を前提にすることなく動き補償や視差補償をバラバラに組み合わせる形で標準化が進む既存の多視点映像符号化の単なる拡張ではない、強く構造化された動的稠密光線場の本質的冗長性をまとめて抽出削減する圧縮方式を確立する。
本年度は、以上に述べた研究目的の達成に向け、令和２年度に基本的な構成を整備した超多眼映像の圧縮符号化方式に関し、３次元映像に関わる様々なフィルタ処理を導入するなどして圧縮性能の実質的向上に取り組んだ。画像圧縮では一般に、符号化効率の低下を招く雑音等を抑制するプレフィルタ処理や、視覚的に顕著な符号化後のブロック歪み等を補正するポストフィルタ処理を協調させ、実質的な圧縮性能を有意に高めている。そこで、超多眼映像の圧縮においても同様に様々なフィルタ処理を協調させ、とくに残差符号化の最適化に取り組んだ。
また、本研究課題に最適な標準画像データセット等を整備するため、令和２年度に構築した単眼とミラー群の統合に基づく仮想カメラアレイに対し、高感度、グローバルシャッタ方式の高品質なカラービデオカメラを導入、基本的な符号化構成の確認から、より実証的な検討を進めた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
超多眼映像は光線全体を稠密に取得再現し、単なる両眼視を越え同時に多数のユーザに対し様々な視点から対象の観察を可能とする。一方、そのデータ量は著しく膨大で、高能率圧縮による簡便な蓄積や伝送が新たに重要な課題となる。本研究では、超多眼映像を動的な稠密光線場とみなすことで、撮影対象の３次元分布と良く対応した焦点ボケ画像群を介し、その本質的冗長性をまとめて抽出削減する圧縮方式を確立する。具体的には、一般的な２次元動き補償等をバラバラに組み合わせる既存の多視点映像符号化と異なり、強く構造化された動的稠密光線場に応じた、焦点ボケ画像群の時系列上での３次元動き補償への統合などを様々に導入していく。
実際、こうした研究課題に対し、前年度までに検討した３次元ブロックマッチングに基づく効率的な動き補償に加え、本年度は、まず、提案する焦点ボケ画像群への変換そのものが超多眼映像の各フレームが含む雑音を低減するプレフィルタ機能を有することに着目、逆に焦点ボケ画像群から当該フレームの光線場を復元する際、その予測残差のうち雑音成分は排除して本質的な復元性能が低下する遮蔽領域のみ符号化を行うよう適応的な処理を導入した。また、焦点ボケ画像群に対する３次元の動き補償等に起因するブロック状の歪みが、こうした予測そのものを不安定にする場合があるため、当該の歪みを抑制するポストフィルタ処理も組み込み、符号化品質の安定化に注力した。なお、本年度に新たに構成した高品質な仮想カメラアレイの実証的な検討に際し、コロナ禍に起因した供給不足により実験装置構成品の納期遅延が発生、当該期間は次年度以降に備え理論の精緻化を進めたものの、年度後半に予定していた超多眼映像の符号化実験にはやはり一定の追加期間を要した。
以上から、本研究課題の進捗に関し、次年度以降、十分に回復できる状況ではあるが、現在まで、やや遅れていると判断される。
|
| 今後の研究の推進方策 |
今後は、令和３年度を中心に圧縮性能の実質的向上に取り組んだ超多眼映像の符号化方式について、リアルタイム伝送への展開も考慮し、当該の符号化アルゴリズムの軽量化に取り組む。実際、実用的な圧縮符号化手法を構成するには、必要となる演算量の抑制も常に考慮しなければならない。とくに、実時間プロトタイプの構築に向け、シーンフロー推定部など提案する符号化を構成する各要素に応じ、十分な高速性と圧縮品質を維持する実装の検討を順次、進めていく。
具体的には、まず、提案する超多眼映像圧縮処理で必須となる、時系列上の焦点ボケ画像群の間での３次元動き補償に関し、あらたに３次元シーンフローの推定を導入、ここまでで前提とした単純な３次元ブロックマッチングの演算量を大幅に削減する。既に、一般的なオプティカルフロー推定を３次元の焦点ボケ画像群上に拡張することで、実時間で対象全体の３次元シーンフロー推定に成功しており、こうしたフロー推定結果を手がかりに、圧縮品質を維持しつつ提案方式の最も本質的な構成要素である３次元動き補償の軽量化を図る。
あわせて、動き補償部のみならず符号化の各要素を適宜、多数のGPUを搭載した計算サーバ上へ実装、それぞれのリアルタイム性を検証することで、超多眼の撮像系等と組合せた実時間プロトタイプの構成法を明らかにする。この際、符号化側と復号側で共通となる光線場の予測について、非圧縮における同様の処理の実時間性を維持したまま、良好な圧縮品質が得られるよう、令和３年度に提案したポストフィルタ等の組み込みを検討する。以上のような高速実装に基づき、中心となる３次元動き補償部を含め、提案する超多眼映像圧縮符号化方式全体の実時間化に取り組む。
|
