本研究では、動的に変化する実世界と仮想的な質感を、時空間的整合性を満たす形で融合させる技術を確立する。昨年度は、このような動的質感再現のプラットフォームの構築に向けて、新たな高速3次元トラッキング技術を開発し、高速プロジェクションマッピングに基づく動的質感再現を検証した。今年度は、質感表現の拡張に取り組んだ。まず、法線マッピングと呼ばれるコンピュータグラフィクスのテクニックが、本技術においても有効であることを示した。同テクニックは、物体表面の細かな凹凸を幾何学的な形状ではなく、法線に基づいた陰影のみで表現するものである。特に、本研究のような動的変化に追従するタイプのプロジェクションマッピングを用いた質感提示においては、リアリティを上げるうえでこのような技術が有効に働くことが分かった。さらに、開発したトラッキング技術を用いて、疑似的な光源を動的に再現する技術を実現した。実現に向けて、投影される映像の中にセンシング用のマーカを人間には見えないように埋め込み、光源に見立てたカメラの位置姿勢を取得する手法を構築した。これによって、人間が把持する仮想光源の位置に応じて、対象表面の鏡面反射位置や影を変化させ、動的質感の再現度のレベルをさらに向上できることを示した。このほかにも、構造化光法に基づく高速な3次元計測を用いたトラッキング技術を駆使することで、マーカレスで動的質感再現を実現する技術を検証した。
|