|
本研究の目的は、安価な深度センサーや車載ソナーから得られる深度情報のように解像度の低い深度画像に対し、通常のRGBカメラから得られる解像度の高いカラー画像を利用することで、超解像度深度画像を復元する手法を構築することである。これにより、コストや物理的制約により解像度の高い深度センサーが搭載不可能な場合でも、低コストで高解像深度画像の取得が可能となる。
本研究では、すでに我々が提案する画像のカラリゼーション手法を拡張することで、超解像度深度画像復元手法を導出した。画像のカラリゼーション手法とは、グレースケール画像（輝度値画像）と僅かな数の画素の色情報のみから、フルカラー画像を復元する手法である。「近い場所にあり輝度値も近い画素は、同じような距離に存在する」という仮定に従い、グレースケール画像上の距離が近く、輝度値も近い画素に対して、近い値の深度値を与える手法である。これにより、極めて解像度の低い深度画像と解像度の高いグレースケール画像から、解像度の高い深度画像復元が可能になった。また、カメラ２台により画面上の距離を測定するステレオカメラにより得られた深度画像に適用することで、カメラ画像のみから高精細な深度画像復元を可能とした。ステレオカメラにより作成された深度画像は解像度は高いが精度が低いという問題があった。そこで、ステレオカメラから得られた深度画像をダウンサンプリングして解像度の低い深度画像を生成し、１台分のカメラ画像とともに提案手法を適用することで、精度の高い深度画像を得る手法を導出した。
得られる深度画像の精度を上げるため、深度画像を「大まかな深度画像」と「詳細な深度画像」の２種類に分け、最適化する手法を提案した。このように２つに分けて深度画像を復元することで、これまでに比べて精度が高くなることが確認された。
|
