| Research Abstract |
本研究では,バーチャルスタジオ撮影において,演者が仮想物体を直接操作できるインタラクション環境の構築を目標として,以下の3つの技術を中心に開発を進めている.
(1)撮影用カメラのみを用いて演者の顔の位置・姿勢を実時間推定し,仮想物体提示に反映させる技術
(2)演者が仮想物体操作に用いる任意の現実物体の位置・姿勢を,撮影用カメラのみから実時間推定する技術
(3)(1)〜(2)の処理で生じる誤差を適応的に補正し,現実空間と仮想空間を矛盾なく位置合わせするための技術
本年度は,演者が自分の手を利用して仮想物体を操作する場合を対象として,上の(3)の技術を開発した.具体的には,演者が自分の手を利用して仮想物体を操作できるようにするために,演者の手の姿勢・位置をデータグローブを利用して計測する.このとき,映像の見苦しさの問題を解決するために,データグローブを装着した演者の手領域をクロマキー合成を利用してCGによる仮想手に置き換える.さらに,この仮想手が仮想物体に対して適切な位置・姿勢をとるように補正することにより,仮想物体操作の過程で手の位置・姿勢に生じる誤差を適応的に修正する.
また,上と並行して,上の(2)の技術についても検討を開始した.具体的には,演者に特定の色で着色された現実物体を操作してもらい,スタジオカメラ画像中からその色の領域を抽出する.その一方,この現実物体の3次元形状を作成して予め3次元モデルを作成しておき,このモデルに基づいて演者が操作している現実物体の位置・姿勢を推定する.これに対して,仮想物体を重畳することにより,演者は現実物体を手に感じながら操作しつつ,視聴者用の合成映像では,演者が様々な映像効果を持った仮想物体を操作しているかのような映像が表示される.
さらに,上の他にも(1)に関連した表情認識・変換のための技術についても検討した.
|
