3次元音空間知覚における視覚・聴覚のマルチモダール情報処理に関する研究

• Project/Area Number: 14780300
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Intelligent informatics
• Research Institution: Akita Prefectural University
• Principal Investigator: 金 海永 秋田県立大, システム科学技術学部, 助手 (60312667)
• Project Period (FY): 2002 – 2004
• Project Status: Completed (Fiscal Year 2003)
• Budget Amount: ¥2,800,000 (Direct Cost: ¥2,800,000); Fiscal Year 2003: ¥900,000 (Direct Cost: ¥900,000); Fiscal Year 2002: ¥1,900,000 (Direct Cost: ¥1,900,000)
• Keywords: 空間知覚 / 音像定位 / 視覚と聴覚の相互作用 / マルチモーダル情報処理

Research Abstract

本年度の研究では,ヒトの3次元音空間知覚における視覚と聴覚の相互作用について調べるために,視覚情報の変化(方向や距離)に追従して,音源から人間の両耳までの聴覚情報を実時間で変化させることができる視覚情報と聴覚情報の実時間提示システムの構築を行った.また,構築したシステムを用いて視覚情報が音空間知覚に及ぼす影響を聴覚情報と同時に視覚情報を与えることにより,3次元音空間知覚がどのようになされるかについての基礎実験を行った.
その結果,本年度に行った研究では、以下のような成果を挙げることができた。
1.音像定位伝達関数を音源の動きに対応して実時間で切り替えるシステムを構築するため,聴取者の頭部伝達関数の測定を行った.
2.視覚情報の変化に追従して,音像定位伝達関数を実時間で切り替え,高精度の3次元音像定位を実現する3次元音空間合成システムを構築した.
3.2項で構築されたシステムを用い,音像定位伝達関数のみを与えた場合と聴覚情報に視覚情報を与えた場合とで,3次元空間知覚がどのように変化するかを検討した.
4.上記第1〜3項の検討を基に,視覚情報を,音像定位伝達関数の変化に反映させるための基礎資料を作成した.