| 研究概要 |
平成23年度は,携帯端末を利用した実証実験を行った。処理プログラムを実装した携帯端末を複数のユーザーが1台ずつ所持し,携帯電話ネットワーク上に設置された実験用サーバを介して,各自が撮影した映像を共有する仕組みを実装し、それに基づいて3次元的な映像提示や複合現実感提示を行った。
まず、スケートやサッカーを撮影した多視点映像から、そのスポーツイベントの自由視点映像を事前に合成しておき、それをリアルタイムでテーブル上に複合現実感提示するシステムを構築した。ここでは、各端末のカメラ位置姿勢をリアルタイムで推定する必要があり、特徴点検出と追跡に基づくPTAMと呼ばれる手法を実装した。さらに、この特徴点検出と追跡が困難となる場合について、あらかじめ生成しておいたパノラマ画像と取得画像の画像マッチングによりカメラの位置姿勢を推定する手法も実装し、その有効性を検証した。
次に,あるユーザーの端末映像中で,遮蔽物体の領域をセグメンテーションし,上記の自由視点映像合成を用いて,別視点の映像から現在の視点での映像を合成することで,遮蔽物体を除去し,ユーザーのカメラ視点から撮影したイベント/シーン全体の映像をリアルタイム表示するシステムを構築し、有効性を検証した。
さらに,そのイベント/シーンについての付加情報を複合現実提示するシステムを構築した。その例とし,紙に印刷した地図の上に、地理情報(GISデータ)を提示する手法について検討を行った。
これらのようなシステム実装時には、携帯端末の処理速度や操作性なども重要となることから、その実装面での改良,インターフェースについての検討なども行った。また、対象物体の形状が変形する場合について、その形状をリアルタイムで推定し、物体表面に任意テクスチャパターンを複合現実提示する手法についても検討を行った。
|
