|
本年度は、カメラが捕らえた物を音情報として視覚障害者に伝える音響視覚インターフェイス(ソニックビジュアルインターフェイス)の基礎理論を確立し、これをもとに理論評価用システムの構築および評価を行った。
まず、ステレオカメラが復元した3次元画像空間と、音響制御装置が持つ3次元音響空間と、ユーザが持つ3次元聴覚空間の関係を調べた。ステレオカメラが校正されていない場合、カメラにより復元した空間は3次元射影変換の不定性を持つ。また音響装置が校正されていない場合には、3次元音響空間にはやはり3次元射影変換の不定性が存在する。さらにこのインターフェイスを使用するユーザの聴覚感覚には個人差があるが、相対的な位置感や相対的な距離感が保存されると仮定すると、ユーザの聴覚感覚の個人差は3次元アフィン変換により表せることが明らかになった。そこで、ステレオカメラと音響装置との関係を3次元射影変換で直接表現し、基底音をユーザに与えてこの3次元射影変換を求めることにより、聴覚の個人差を吸収しつつ、カメラで撮影した物の位置を音の位置で表現する方法を開発した。
実際に、ステレオカメラシステム、3次元音響制御装置等を導入して、ソニックビジュアルインターフェイスの理論検証用システムを構築し、被験者を使ってその性能を調べた結果、音像の分解能が余り良くないために正確な形状を伝えることは難しいものの、簡単な形状であれば表現可能であることが確認できた。
来年度は音像の定位感をより良くし形状表現能力を向上させると共に、小型軽量化することによりソニックビジュアルインターフェイスのウェアラブル化を目指す。
|
