移動カメラによる画像列からの超解像度画像モザイキング

2000 Fiscal Year Annual Research Report

• Project/Area Number: 12650392
• Research Institution: Keio University
• Principal Investigator: 小沢 慎治 慶應義塾大学, 理工学部, 教授 (70051761)
• Co-Investigator(Kenkyū-buntansha): 斎藤 英雄 慶應義塾大学, 理工学部, 専任講師 (90245605)
• Keywords: 物体形状復元 / 3次元モデル / 超解像 / モザイキング / 因子分解法 / コンピュータビジョン / 移動カメラ

Research Abstract

本研究では、移動カメラにより対象を撮影した連続画像列から、対象の3次元情報を推定することにより画像列の連結、つまりモザイキングを行い、さらに同一表面をオーバラップして撮影した複数のフレームの画像を合成することによって、入力の画像解像度を向上させた「超解像度画像」を合成することを目的とする。このために、CCDカメラからの動画像を、コンピュータに取りこむシステムを構築した。これは、XYZスキャナ部にカメラを取りつけ、このカメラの下部に配置された被写体を撮影するものである。XYZスキャナは、幅1.5m、高さ1m、奥行き1mの大きさの直方体の鉄枠の上面部分に取りつけられているものであり、鉄枠の床面に置かれた物体上空から任意の場所から撮影できる。構築したシステムを用いて、通常の書籍等に対して、カメラの1画面におよそ5cm程度四方の領域が入るようにして、カメラを移動させながら、隣接する画像フレーム間、画面の10分の1程度の領域がオーバラップするようにしながら撮影させて画像を撮影した。このオーバラップ領域内で、画像の特徴点毎に対応づけを行うことにより、カメラの移動量と特徴点の3次元位置を推定し、因子分解法を適用することによって書籍表面の3次元形状モデルを復元することができた。この際、連続する10フレーム程度の画像列から復元される3次元形状モデルは、書籍全体のうち一部の形状に過ぎないが、カメラの移動に伴い順に復元されてくる部分形状の3次元モデルを連結することによって、全体形状の復元が可能になった。この時、連結誤差がカメラの移動に連れて蓄積することが無いように、連結の際にカメラ移動量の推定誤差を全体的に最小化する処理を行った。

Research Products

• [Publications] Kenji Nakamura,Hideo Saito,Shinji Ozawa: "Generation of 3D model with super resolved texture from image sequence"Proceedings of 2000 IEEE International Conference on Systems,Man and Cybernetics.. VOL.2. 1406-1411 (2000)
• [Publications] Kenji Nakamura,Hideo Saito,Shinji Ozawa: "3D Reconstruction of Book Surface Taken from Image Sequence with Handy Camera"Proceedings of 15th International Conference on Pattern Recognition (ICPR00). Vol.4. 575-578 (2000)