|
本研究は、視聴覚連携による空間情報抽出システムの開発を目的として、次の3つの項目について研究を進めた。
1.視覚的空間情報と聴覚的空間情報の相補的連携 聴覚的空間情報と視覚的空間情報を統合するため、統合した両耳聴モデルの構築を行った。その際、残響の影響による聴覚的空間情報の誤差増大への対応は、初期到来音の注目することで一定解決できることを確かめた。さらに、統合システムとして、視覚的空間情報処理を色情報に基づく顔画像領域抽出のみに限定すれば、スタンドアーロン型の実時間システムを構築できる見込みがたったため、実験システムをスタンドアーロン型で実装した。
2.視覚領域での顔画像を中心とした空間情報抽出 顔画像処理アルゴリズムの実時間処理に向け、アルゴリズムの実行時間について検討を行うとともに、聴覚情報との連携を視野にカメラ座標と聴覚系における座標系の連携について検討した。
3.聴覚的空間情報の抽出精度向上と分離音響信号の高品質化 音源移動を、聴覚的空間情報と視覚的空間情報が相補的に統合された情報の時間変化に注目し、音源方向追従機能の向上と、それに基づく抽出音源波形の連続性を担保することで、分離音響信号の品質のより一層の向上の可能性を検討した。
上記で示した結果は、視聴覚連携による空間情報抽出システムを検討するにあたり、実現の必要性がある課題であり、それらの基礎的な要素技術の一部が今年度検討できたといえる。
|
