3次元動画像通信へ向けた多眼カメラアレイシステムの研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10750263
• Research Institution: The University of Tokyo
• Principal Investigator: 苗村 健 東京大学, 大学院・工学系研究科, 講師 (90292896)
• Keywords: 多眼カメラ / イメージベースレンダリング / ステレオ動画像通信 / 実時間処理 / 光線記述

Research Abstract

多眼カメラの配置法に関する検討
撮像部分と信号処理部分を分離できる小型カメラを用い、最大16台のカラーカメラを自由に配置し、一括してコンピュータ入力するシステムを開発した。各小型カメラの撮像部分(レンズとCCD)を相互に組み合わせ可能な接続部品を開発し、はめ込み式でカメラ配置を自由に変更できるようにした。カメラ間隔は最小3cmである。また、レンズとして望遠・通常・広角の3種類を自由に組み合わせ可能であり、様々な条件下での実験ができる。コンピュータへの入力は、1チャンネル入力の場合で通常のNTSCの解像度、4チャンネル入力では縦横半分ずつの解像度、16チャンネル入力ではさらに半分という仕様になっている。必要な解像度と入力チャンネル数のバランスを考慮しながら、適宜入力方式を切り替えることが可能である。
本システムを用い、多種多様なカメラ配置による3次元動画像通信の基礎検討を行った。特に光線理論を応用し、ホログラムの原理をカメラアレイでシミュレートすることにより、任意視点位置における画像を多眼画像からリアルタイム合成するVideo-Based Rendering手法として、システムの実装を進め、その有効性を明らかにした。
4眼撮像系による広視野角ステレオ画像通信
カメラ数が4つの場合を対象にして、ハーフミラーを用いることにより、広い視野角と、視野中心付近での高い解像度を両立するステレオ動画像通信システムを開発した。広角撮影用のカメラと視野中心の撮影を担当するカメラを用意し、これらをハーフミラーを用いて光学的に共役な位置に配置する。同じ視点位置における異なる視野角の画像をコンピュータグラフィックス技術で張り合わせ、実時間で多重解像度画像を合成表示する。これを右目と左目用に2組用意することにより、ステレオ画像通信を実現する。本システムにより、CAVEなどの大型スクリーンを用いる没入型スクリーンシステムにおいても、没入感を損なわずにじゅうぶんな解像度でのステレオ動画像表示が実画像で行えるようになった。また、4台分のカメラ映像の伝送方法について基礎的な検討を行った。

Research Products

• [Publications] 苗村 健: "多眼ビデオ入力を用いた実時間IBRシステム-Video-Based Rendering-"日本バーチャルリアリティ学会論文誌. 4・4. 639-646 (1999)
• [Publications] 苗村 健: "実写とCGの融合"映像情報メディア学会誌. 53・7. 923-926 (1999)
• [Publications] T.Naemura: "Multi-Resolution Stereoscopic Immersive Communication Using a Set of Four Cameras"SPIE Stereoscopic Displays and Application XI. 3957(掲載予定). (2000)
• [Publications] 苗村 健: "オクルージョンを考慮した多眼画像からの視差推定"映像情報メディア処理シンポジウム(IMPS99). I-2.14. 41-42 (1999)
• [Publications] 杉田 馨: "4眼撮像系を用いた広視野角ステレオ画像通信"3次元画像コンファレンス. 1-7. 37-42 (1999)
• [Publications] 新田 拓哉: "高精細全周実写画像を用いた没入型ウォークスルー"日本バーチャルリアリティ学会大会. 4. 149-152 (1999)