| 研究概要 |
本研究では、研究代表者が有する高速視覚の研究実績を基に、視覚情報と聴覚情報の時間周波数帯域を人間の可聴域(20Hzから20kHz程度)レベルに整合させ,信号レベルでの視覚情報と聴覚情報を統合するダイナミック視聴覚統合理論を構築し,その有効性をアルゴリズム及びシステムの両面から検証することを目的とする.
平成17年度は、1)音速と光速による伝播速度差に基づく音源距離・速度計測アルゴリズム、2)視聴覚統合アルゴリズムに対する実時間化に向けた改良および機能検証、3)ダイナミック視聴覚統合理論の体系化を行い、実際に高速視覚システムを用いた動作検証を行った。具体的には以下の手順で研究を進めた。
1. a)マイクロフォンと音源の距離を計測し、高速ビデオカメラによる撮影とマイクロフォンによる集音を行った。
b)高速画像内の振動情報を計測し、音の振動情報の時間差を計算し、画素レベルでの視覚と音の時間差を表す時間シフト画像を生成した。
c) b)で計算された視聴覚時間シフト画像から音源距離を推定するアルゴリズムを開発し、実際の音源距離と比較した。
d)音源が一定速度で移動する場合につき、高速ビデオカメラ(既存)による撮影とマイクロフォンによる集音を同時に行った。
e)撮影された高速ビデオ画像において、画像内の振動清報を計算し、音の振動情報との周波数シフト差を計算し、画素レベルでの視覚と音のドップラー効果の差を表す周波数シフト画像を生成した。
f e)で計算された周波数シフト画像から音源移動速度を推定するアルゴリズムを開発し、実際の音源移動速度と比較した。
2.視聴覚統合アルゴリズムに対する実時間化に向けた改良および機能検証を行った。
3. a) VA信号処理理論に基づいた実時間VAアルゴリズムの開発を行った。
b) a)で開発した実時間VAアルゴリズムを高速ビジョンを用いた実システム上で動作確認し、その実行結果に対する評価を行った。
c)画素レベルでの音源定位理論に基づいた実時間音源定位アルゴリズムの開発を行った。
d) c)で開発した実時間視聴覚統合型音源定位アルゴリズムを高速ビジョンを用いた実システム上で動作確認を行い、その実行結果に対する評価を行った。
e)音速と光速による伝播速度差に基づく音源距離・速度計測理論に対応した実時間音源距離・速度計測アルゴリズムの開発を行った。
f)実時間視聴覚統合アルゴリズムの動作評価をもとに、本研究で研究を行った実時間視聴覚統合理論の最終評価を行い、その基本的な理論体系化を行った。
|
