| 研究課題/領域番号 |
20H04216
|
|---|
| 研究機関 | 国立情報学研究所 |
|---|
研究代表者 |
児玉 和也 国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| キーワード | 3次元画像 / 光線 / 多眼 / 圧縮 / 符号化 |
|---|
| 研究実績の概要 |
代表者らは従来から静的な稠密光線場の焦点ボケ構造を介した高能率符号化を提案しており、本研究では動的な稠密光線場である超多眼映像の圧縮にこれを拡張することを目的とする。具体的には、撮影対象の３次元分布と良く対応した焦点ボケ画像群上で、視差情報全体が統合的に表現可能な奥行き方向も合わせた動き補償を導入する超多眼映像の高能率符号化を提案し、その軽量化や高速実装による実時間伝送まで含め実証的評価を行う。当該の枠組に加え、基盤となる焦点ボケ画像群への変換の最適化やその残差の符号化に関わるフィルタ設計等も包括的に検討し、視点配置を前提にすることなく動き補償や視差補償をバラバラに組み合わせる形で標準化が進む既存の多視点映像符号化の単なる拡張ではない、強く構造化された動的稠密光線場の本質的冗長性をまとめて抽出削減する圧縮方式を確立する。
本年度は、以上に述べた研究目的の達成に向け、代表者らが既提案の焦点ボケ画像群を介した静的光線場の高能率圧縮手法を基盤に、動的光線場である超多眼映像の符号化方式を展開するため、全く新しい３次元上の動き補償の導入を中心に基本的な構成を整備した。
また、標準画像データセット等が整備されていない超多眼映像の符号化を検討するため、まず「光学式仮想カメラアレイ」をミラー群で構成し、既存の単眼ビデオカメラでも動的かつ十分に稠密な光線場を実際に取得可能とする撮像系の構築を行った。なお、同撮像系の生の撮影データは単眼カメラの画角が各視点画像に分割された特殊な形式であるため、研究協力者とともに、扱いやすい視点配置等の超多眼映像へとこれを柔軟に再構成する、簡便な前処理手法の導出も先行して進めた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
超多眼映像は光線全体を稠密に取得再現し、単なる両眼視を越え同時に多数のユーザに対し様々な視点から対象の観察を可能とする。一方、そのデータ量は著しく膨大で、高能率圧縮による簡便な蓄積や伝送が新たに重要な課題となる。本研究では、超多眼映像を動的な稠密光線場とみなすことで、撮影対象の３次元分布と良く対応した焦点ボケ画像群を介し、その本質的冗長性をまとめて抽出削減する圧縮方式を確立する。具体的には、一般的な２次元動き補償等をバラバラに組み合わせる既存の多視点映像符号化と異なり、強く構造化された動的稠密光線場に応じた、焦点ボケ画像群の時系列上での３次元動き補償への統合などを様々に導入していく。
実際、こうした研究課題に対し、本年度までに、まず、奥行き方向全体に拡張した３次元ブロック単位でマッチングを行うことを検討、視差や動きをバラバラではなく「単一の離散的２次元分布」の時系列として統合的に扱う大幅な高能率化に取り組んだ。本方式では、超多眼映像の各フレームで焦点ボケ画像群を３次元情報として合成し、その時系列上で効率的に動き補償を行うため、本来の超多眼映像は、各時刻の焦点ボケ画像群から予測、その残差も含め復元するだけで良い。また、あわせて、稠密光線場から焦点ボケ画像群への当該の変換について、無限遠も含め最低限の奥行き範囲と枚数の焦点ボケ画像のみで、もとの光線場の予測復元性能を最大化できるボケ特性の存在が直近で示されたことに着目、当該の成果は非圧縮が前提であるものの、焦点ボケ画像群の枚数やボケ特性は提案する符号化の効率に直結するため、超多眼映像の圧縮性能の観点で、上述の動き補償と並行して同様の最適化にも取り組んだ。
以上から、本研究課題の進捗に関し、現在まで、おおむね順調に進展しているといえる。
|
| 今後の研究の推進方策 |
今後は、令和２年度に基本的な構成を整備した超多眼映像の圧縮符号化方式に関し、３次元映像に関わる様々なフィルタ処理を導入するなどして圧縮性能の実質的向上に取り組む。画像圧縮では一般に、符号化効率の低下を招く雑音等を抑制するプレフィルタ処理や、視覚的に顕著な符号化後のブロック歪み等を補正するポストフィルタ処理を協調させ、実質的な圧縮性能を有意に高めている。そこで、超多眼映像の圧縮においても同様に様々なフィルタ処理を協調させ、とくに残差符号化の最適化に取り組む。
具体的には、まず、提案する焦点ボケ画像群への変換そのものが超多眼映像の各フレームが含む雑音を低減するプレフィルタ機能を有することから、逆に焦点ボケ画像群から当該フレームの光線場を復元する際には、その予測残差のうち雑音成分は排除して本質的な復元性能が低下する遮蔽領域のみ符号化を行うよう適応的な処理を導入する。また、焦点ボケ画像群に対する３次元の動き補償やＳＰＩＨＴ符号化等に起因するブロック状の歪みが、こうした予測そのものを不安定にする場合があるため、当該の歪みを抑制するポストフィルタ処理も組み込む。焦点ボケ画像群上の構造化された雑音の抑制手法を導いたこれまでの知見から、十分に明確な見通しのもと必要となる各フィルタの設計を行っていく。
あわせて、本研究課題に最適な標準画像データセット等を整備するため、令和２年度に構築した単眼とミラー群の統合に基づく仮想カメラアレイに対し、高感度、グローバルシャッタ方式の高品質なカラービデオカメラを導入、基本的な符号化構成の確認から、より実証的な検討を進める。実際、当該カメラに応じ新たな再構成処理を導出の上、各視点の解像度などが十分な品質の超多眼映像を取得する。これを用いＲＧＢ各色間の相関や複数の稠密光線場間の相関も考慮した包括的な圧縮符号化に取り組む。
|
