|
本研究では、3次元映像生成の最も重要な課題の一つである多視点映像からの自由視点画像合成について注目した。特に、超解像による高解像度化を伴う自由視点画像合成(以降では超解像自由視点画像合成と呼ぶ)について、高品質な画像を生成するための検討を行った。
本年度は、昨年度の成果である学習型超解像を組み合わせた超解像自由視点画像合成の枠組みについて、詳細な解析を行った。また、カメラアレイから取得された多視点画像から、リアルタイムで超解像自由視点画像合成を行うシステムを構築した。以下でそれぞれの成果の概要について述べる。
1. 再構成型と学習型を組み合わせた超解像自由視点画像合成
昨年度の成果では再構成型超解像(複数枚の画像からの超解像)と学習型超解像(多数の自然画像からの機械学習による超解像)を組み合わせた超解像自由視点画像合成の枠組みを提案した。本年度はまず、提案する枠組みの一般性を確かめることを目的として、様々な種類の学習型超解像手法を提案する枠組みに適用し、その特性を調査した。その結果、どのような学習型超解像の手法を用いた場合にも、再構成型超解像のみの既存手法と比較して品質が向上することが確かめられた。また、合成画像を周波数領域から解析し、再構成型・学習型超解像の性質の違いについて考察を行うことによって、提案する枠組みの有効性について理論的な説明を与えた。
2. リアルタイム超解像自由視点画像合成システムの構築
カメラアレイにより撮影された多視点画像からリアルタイムで超解像自由視点画像合成を行うシステムを構築した。実システムにおいて高品質な画像を合成するためには、高い精度でシーンの奥行きを推定する必要がある。奥行き推定精度が低下する主な要因は、奥にある物体が手前にある物体に遮蔽されることにより、カメラ間での正しい対応関係が得られなくなることにある。この問題を解決するため、本システムではカメラ間の対応関係の信頼度から遮蔽による影響を間接的に推定する手法を提案した。提案する奥行き推定手法により、奥行き推定精度の改善が達成され、また高品質な画像が合成可能であることが確認できた。
|
