2012 Fiscal Year Research-status Report
焦点ぼけ構造に基づく多次元映像情報の高能率圧縮表現に関する研究
| Project/Area Number |
23700224
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
児玉 和也 国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)
|
|---|
| Keywords | 映像メディア / 画像符号化 / 3次元画像 |
|---|
| Research Abstract |
本年度は、前年度までの成果をもとに、焦点ぼけ画像群からの光線空間再構成における残差の処理も含め、焦点ぼけ構造を介した光線空間の最適な圧縮手法を検討した。また引続き、水平方向に配置した多眼画像等にも適用できるような柔軟な一般化を検討した。とくに、カメラ位置制御装置等により撮影された実画像を用いた実証的検討にも取り組み、本研究で提案する手法の基本的性能を明確にした。具体的には前年度の検証を参考にしつつ、まず、焦点ぼけ画像群を３次元情報とみなしたとき周波数成分が特定の領域に集中するという本質的な性質に着目し、3D-DCT等を活用した効率的な圧縮手法をより洗練した。この成果をもとに、焦点ぼけ構造を介した光線空間の圧縮表現手法を示し、あわせて、焦点ぼけ画像群からの光線空間の再構成は近似的なものであることに注意し、その残差信号についてもMPEG等の知見から適切な圧縮手法を検討した。これらを組み合わせることで、研究課題の中心である焦点ぼけ構造を介した光線空間の高能率な圧縮手法を示した。さらにこれを応用し、例えば、水平方向に配置した多眼画像等に対しても、同様の圧縮を実現する手法の検討に取り組んだ。
以上によりまず、密な光線空間から合成された焦点ぼけ画像群を３次元情報とみなし圧縮を施すにあたっては、はじめに検討した3D-DCTと比較して、Wavelet変換に基づく3D-SPIHTを用いる手法が、復元品質の面からきわめて有意であることが明らかとなった。また同時に、圧縮された焦点ぼけ画像群から光線空間を再構成した際の残差については、MPEG等の動き補償を流用した既存の視差補償に基づく圧縮符号化が有効であることを確認した。実際、カメラ位置制御装置により撮影されたカラーの実画像に対し、従来方式を一桁ほど上回る圧縮率でも同等以上の復元品質が達成され、本研究で提案する圧縮の枠組の有効性が実証された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の提案する、焦点ぼけ画像群という対象シーンの構造をきわめて効率的に表現可能な３次元情報を介した符号化方式により、４次元の映像情報である光線空間に対する高能率な圧縮が実際に実現されることが明らかとなったため。具体的には、光線空間から合成された焦点ぼけ画像群に対しては、これを上記のとおり３次元情報とみなすWavelet変換に基づく3D-SPIHTによる圧縮が、また、この圧縮された焦点ぼけ画像群から研究代表者による既提案手法を用いて光線空間を再構成した際の残差については、MPEGでも採用されている動き補償を応用した既存の視差補償に基づく符号化が、提案する焦点ぼけ構造を介した光線空間圧縮の枠組において、きわめて有効であることが示された。
この結果、例えば、カメラ位置制御装置により撮影されたカラーの実画像で構成される密な光線空間情報の場合、従来方式を一桁ほど上回る1/1000の圧縮率においても、PSNRにして30dBと同等、SSIMでは同等以上となる、十分に有意な復元品質が達成されることが実証された。
|
| Strategy for Future Research Activity |
今後は、本年度までの成果をもとに、多次元映像情報の圧縮に関し提案手法のさらなる一般化を行なうとともに、例えば、圧縮された光線空間を実際に自由視点環境で活用するため、表示系を含む映像システムのプロトタイプの構築を検討することで当該の方式の実証的な評価にまで取り組む。
具体的にはまず、密な視点が水平、垂直に格子状に配置された多眼画像で構成された光線空間のみならず、一般的な多眼画像を含めた多様な多次元映像情報への適用を可能とする、提案手法の柔軟な拡張について体系化を行なう。すなわち、密な光線空間の場合と同様の流れで合成される特殊なぼけを持つ画像群に対しても、効率の良い圧縮を実現する符号化方式を検討する。
また、本研究における提案手法の実証的検証を行なうため、多次元映像情報の圧縮方式そのものに加え、そのリアルタイムでの復元までを含めた映像システムの検討に取り組む。プロトタイプとなる映像システムの構築を前提として、表示系も考慮した多数の視点に対応する画像の高速な復元手法等を示し、研究協力者とともにFPGA等とのハードウェア協調による実装も行なう。
|
| Expenditure Plans for the Next FY Research Funding |
次年度に使用する予定の研究費については、導入予定だったカメラ位置制御装置を用いて撮影された実画像が別途に自由に入手可能となったこと等と、成果発表の日程およびその旅費等の変動により、差引で小額が生じている。
次年度が最終年度であることから、表示系やこれを支えるFPGAを用いた高速復元手法など実証的検討までを進めつつ、当該研究費は次年度に請求する研究費と合わせ、多様な結果を取りまとめた成果の発表、発信にとくにあてる計画である。
|
