3次元視聴覚融合型カクテルパーティ効果プロセッサ

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10650405
• Research Institution: The University of Electro-Communications
• Principal Investigator: たか橋 弘太 電気通信大学, 電気通信学部, 助教授 (10188005)
• Keywords: カクテルパーティ効果 / センサフュージョン

Research Abstract

本研究では、本来は「心理学」の概念であるカクテルパーティー効果を「工学」の分野にもちこみ、その機能を工学的に実現することをめざす。本研究の特徴は、カクテルパーティー効果の実現にあたり、カクテルパーティー効果には視覚も大きな役割を果たしているとの考えに基づき、視覚と聴覚の空間座標上での統合に適した分散型視聴覚融合デバイスによるシステムを構築することにある。試作機では、センシングシステムからの相対的位置に応じて音と映像を担当する論理回路を並べておき、視覚情報と聴覚情報を論理回路(ANDゲートやフリップフロップ)上で融合する。本年度の研究内容と成果は以下のとおりである。
第一の課題は、論理回路に入力する前の前処理の見直しであった。これについては、音響信号処理において、BFP-ICA法という、ICA理論に基づいたフィルタ法(狭帯域フィルタの出力をICAで線型混合する方法)を考案し、定位性能を向上させることができた。
第二の課題は、論理回路を並べて、視覚情報と聴覚情報を論理回路上で融合するシステムを試作することであった。これについては、6万ゲートのFPGAを16個用いた視聴覚融合回路を製作した。完成したシステムは、縦16×横16×奥行8の2048ボクセルの空間分解能を持ち、視覚と聴覚を併用して音を識別する。このシステムを用いた実環境における実験で、視聴覚融合の有効性を確認した。