| 研究概要 |
本研究では,研究代表者が有する高速視覚の研究実績を基に、視覚情報と聴覚情報の時間周波数帯域を人間の可聴域(20Hzから20kHz程度)レベルに整合させ、信号レベルでの視覚情報と聴覚情報を統合するダイナミック視聴覚統合理論を構築し、その有効性をアルゴリズム及びシステムの両面から検証することを目的とし,高速視覚を用いた新たな信号処理技術としてのダイナミック視聴覚統合の有効性をシステムレベルで示すだけではなく、視覚と聴覚が共有する振動ダイナミクスを前提にすることで,従来独立して行われていた画像処理技術と音声信号処理技術を信号レベルで統合するダイナミック視聴覚統合理論の体系化を行い、人間を超えたレベルでの視聴覚統合機能を実現することを目標とした。
具体的には,A)視覚情報からの振動ダイナミクス情報を音声変換するVA(Visual Auditorization)信号処理,B)音声情報と視覚情報からの共通振動ダイナミクス抽出に基づく画素レベル音源定位,C)音速と光速による伝播速度差に基づく音源距離・速度計測の研究を行い,実際に高速視覚システムを用いた動作検証を行った.以下に各年度毎に行った研究項目について記述する。
平成16年度は、A)視覚情報からの振動ダイナミクス情報を音声変換するVA(Visual Auditorization)信号処理、B)音声情報と視覚情報からの共通振動ダイナミクス抽出に基づく画素レベル音源定位、C)高速視覚を用いた実時間ダイナミック視聴覚統合システムの構築の研究を行い、実際に高速視覚システムを用いた動作検証を行った。
平成17年度は、1)音速と光速による伝播速度差に基づく音源距離・速度計測アルゴリズム、2)視聴覚統合アルゴリズムに対する実時間化に向けた改良および機能検証、3)ダイナミック視聴覚統合理論の体系化を行い、実際に高速視覚システムを用いた動作検証を行った。
|
