奥行き情報を考慮した実環境映像と仮想物体の合成に関する研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 09480068
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 横矢 直和 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (10252834)
• Co-Investigator(Kenkyū-buntansha): 清川 清 通信総合研究所, 通信システム部, 研究員 ; 竹村 治雄 奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (60263430) ; 岩佐 英彦 奈良先端科学技術大学院大学, 情報科学研究科, 助手 (50263447) ; 山澤 一誠 奈良先端科学技術大学院大学, 情報科学研究科, 助手 (40283931)
• Keywords: 複合現実感 / 実環境と仮想環境の融合 / 幾何学的整合性 / ステレオ視 / 運動視 / 3次元構造復元 / 仮想物体モデラ / ビデオシースルー拡張現実

Research Abstract

本年度は、以下の研究を実施した。
1.実物体の実時間奥行き推定
実物体と仮想物体の奥行きの整合性を保った画像合成を実現するために、ステレオカメラで撮像された実物体の奥行き推定アルゴリズムを開発した。本研究では、仮想物体を合成する場所でのみで奥行きを取得すればよく、奥行き推定領域を限定することによって処理の高速化を図った。画像の1フレーム当たりの処理時間は約40ミリ秒であり、ビデオレートに近い実時間処理が可能であることを示した。
2.実環境画像に対する仮想物体の実時間合成
ステレオ画像の任意の奥行き位置に隠蔽関係を保って仮想物体を合成する手法を開発した。具体的には、上記課題で得られる実物体の奥行き情報をもとに、仮想物体が手前にある部分でのみ仮想物体の描画を行なう実時間Z-Keyアルゴリズムを開発した。1フレーム当たりの処理時間は約20ミリ秒である。
3.拡張現実感システムの開発と評価
これまでの成果をまとめて、ビデオ入力ボード付きグラフィックスワークステーションとステレオカメラ付き頭部搭載型画像表示装置(HMD)から成るビデオシースルー型拡張現実感システムのプロトタイプを開発し、画像提示遅延等に関する性能評価を行なった。画像更新レートは約10フレーム/秒であり、合成ステレオ画像の表示遅延は4〜5フレーム時間(約133〜166ミリ秒)である。これにより、画像表示遅延によって利用者に違和感を与えないビデオシースルー型ステレオHMDを実現可能であることを示した。

Research Products

• [Publications] Masayuki Kanbara: "Real-time composition of stereo images for video see-through augmented reality"Proc.6th IEEE Int.Conf.on Multimedia Computing and Systems. 1. 213-219 (1999)
• [Publications] 神原誠之: "ビデオシースルー型拡張現実感のための実時間ステレオ画像合成"電子情報通信学会(D-II). J-82D-II・10. 1775-1783 (1999)
• [Publications] 大隈隆史: "拡張現実感システムのための画像からの実時間カメラ位置姿勢推定"電子情報通信学会(D-II). J-82D-II・10. 1784-1792 (1999)
• [Publications] 藤井博文: "ジャイロセンサを用いたビジョンベースARのためのマーカ追跡手法"電子情報通信通信学会技術研究報告. 99・488. 31-36 (1999)
• [Publications] 神原誠之: "マーカ切替え追跡による広範囲見回し可能なビデオシースルー型拡張実感"電子情報情報通信学会技術研究報告. 99・574. 51-56 (2000)
• [Publications] Masayuki Kanbara: "A steroscopic video see-through augmented reality system based on vision-based registration"Proc.IEEE Virtual Reality 2000. (2000)