未校正多視点カメラシステムを用いた任意視点画像の生成

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13750367
• Research Institution: Keio University
• Principal Investigator: 斎藤 英雄 慶應義塾大学, 理工学部, 助教授 (90245605)
• Keywords: 未校正カメラ / 多視点画像 / 射影幾何 / 任意視点画像合成 / 仮想現実 / イメージベースドレンダリング / 射影グリッド空間 / 3次元形状復元

Research Abstract

本研究の目的は,カメラ校正を必要とせず,取得した画像からの情報のみで対象シーンの3次元復元を行う手法を提案し,実験により有効性を検証することである.この目的のために、平成13年度に,10台程度のCCDカメラにより構成される多視点カメラシステムを構築した.これらは,複数のPCに接続され,640×480画素のデジタルカラー画像としてPCのメモリに取り込まれる仕組みになっている.次に,上記の多視点カメラから,カメラ校正を必要としない射影グリッド空間法を適用した3次元復元アルゴリズムとアピアランスベース法によるレンダリングアルゴリズムを構築した.平成14年度は,多視点カメラから3次元復元アルゴリズムを高速化し,動画像に対してリアルタイムでの復元処理実現を行った.ここでは,現有のPCを組み合わせてPCクラスタマシンを構成し,並列処理を行うことにより高速化を実現した.高速化の方策としては,復元する3次元モデルの多重階層表現による計算の効率化を行った.ここでは,3次元モデルを表現するメッシュ構造データの大きさや体積空間の離散化間隔を階層的に変化させることにより,3次元モデルのプログレッシブ復元を可能にする仕組みを考案した.また,時間軸方向の連続性を考慮して,時間変化によって形状が変化した部分に相当する情報のみを取り出し,これのみを復元するという動物体3次元モデルの復元法の検討も進めたが,これは今後の課題である.また,現実世界の映像と仮想世界の映像を融合する,複合現実感の実験を行うために,射影グリッド空間が射影3次元空間であるために生じる射影歪みを回避する方法について検討を行った.原理的には,射影グリッド空間を定義するための基底カメラが正射影と見なせれば,射影歪みを回避できるので,そのような近似が可能なカメラを基底カメラとして利用する方法を考案して,この方法による基礎実験を行った.

Research Products

• [Publications] 木村誠, 斎藤英雄: "3カメラ間の射影幾何を用いたView Morphing"情報処理学会CVIM研究会. No.135-016. (2002)
• [Publications] Kimura, M., Saito, H., Kanade, T: "Stereo Matching between Three Images by Iterative Refinement in PVS"IEICE Transactions on Information and Systems. Vol.E86-D No.1. 89-100 (2003)
• [Publications] 斎藤英雄, 木村誠, 矢口悟志, 稲本奈穂: "射影幾何を利用した多視点画像からの中間視点映像生成"情報処理学会コンピュータビジョンとイメージメディア研究会論文誌. Vol.43 No.SIG11. 21-32 (2002)