|
本研究では、カメラ画像から得られる対象物の位置や形状の情報を音の位置で表現する方法や、視覚情報と音響情報との3次元的な整合性を取る方法を探求した。
まず、ステレオカメラが復元した3次元画像空間と、音響制御装置が持つ3次元音響空間と、ユーザが持つ3次元聴覚空間の関係を調べた。ステレオカメラが校正されていない場合、カメラにより復元した空間は3次元射影変換の不定性を持つ。また音響装置が校正されていない場合には、3次元音響空間にはやはり3次元射影変換の不定性が存在する。さらにこのインターフェイスを使用するユーザの聴覚感覚には個人差があるが、相対的な位置感や相対的な距離感が保存されると仮定すると、ユーザの聴覚感覚の個人差は3次元アフィン変換により表せることが明らかになった。そこで、ステレオカメラと音響装置との関係を3次元射影変換で直接表現し、基底音をユーザに与えてこの3次元射影変換を求めることにより、聴覚の個人差を吸収しつつ、カメラで撮影した物の位置を音の位置で表現する方法を開発した。
次に、得られた視覚音響弱校正理論を複合現実感に応用し、視覚情報と聴覚情報との3次元的な整合性を取ることにより、より臨場感を増強する手法の開発を行った。この時、複数のカメラ同志がお互いに投影しあうカメラの相互投影の情報を積極的に用いることにより、視覚的3次元情報の計算安定性を格段に向上させることが可能であることを示した。このような視覚的3次元情報を聴覚的3次元情報と結びつけることにより、複数ユーザが存在する状況下において、それぞれのユーザごとに視覚情報と聴覚情報の3次元的整合性を取る手法を示した。実際に音と映像を用いた仮想対戦システムや仮想楽器を実現し、視覚的3次元情報と聴覚的3次元情報との幾何学的な整合性を取ることの重要性を明らかにした。
|
