遠隔コミュニケーションシステムにおいて実在感を与える仮想音源生成法の開発

Research Project

Project/Area Number	22K12113
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61020:Human interface and interaction-related
Research Institution	Akita Prefectural University
Principal Investigator	渡辺貫治秋田県立大学, システム科学技術学部, 准教授 (20452998)
Co-Investigator(Kenkyū-buntansha)	西口正之秋田県立大学, システム科学技術学部, 教授 (90756636)
Project Period (FY)	2022-04-01 – 2026-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000) Fiscal Year 2025: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000) Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000) Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords	バーチャルリアリティ / 収音・再生 / 臨場感 / 実在感
Outline of Research at the Start	本研究では，ある空間で仮想的な音源（仮想音源）を提示する際，その仮想音源があたかもそこにあるかのような感覚（実在感）を聴取者に与えるような信号処理の開発を目標とする．従来の方法では，点音源を仮定することが多く，音源の大きさや向きによる違い（放射特性）を考慮していない．また，再生する空間の音響特性も考慮されないことが多い．本研究では，実在感の実現として，点音源を仮定して再現された仮想音源に，音源の放射特性と再生空間の特性，特に残響特性を付加する信号処理法を提案し，その有効性を評価する．
Outline of Annual Research Achievements	本研究では，ある空間で仮想的な音源（仮想音源）を提示する際，その仮想音源があたかもそこにあるかのような感覚（実在感）を聴取者に与えるような信号処理の開発を目標とする．従来の方法では，点音源を仮定することが多く，音源の大きさや向きによる違い（放射特性）を考慮していない．また，再生する空間の音響特性も考慮されないことが多い．本研究では，実在感の実現として，点音源を仮定して再現された仮想音源に，音源の放射特性と再生空間の特性，特に残響特性を付加する信号処理法を提案し，その有効性を評価する．令和4年度は，残響特性の付加による効果を検討した．従来の仮想音源生成には，頭部伝達関数（head-related transfer function, HRTF）と呼ばれる自由空間における音源から鼓膜面までの伝達特性が良く用いられている．一方，響きのある空間に対して，同様に音源から鼓膜面までの伝達特性である両耳空間伝達関数（binaural room transfer function, BRTF）が定義されている．本研究では，HRTFが事前に得られていると仮定し，それに聴取者がいる室（空間）の残響特性を付加することで，BRTFと同等の伝達関数を得る方法を提案する．このとき，室の伝達特性は任意の1個所で行うことを想定している．当該年度では，聴取者の正面方向で測定された室のインパルス応答から残響部分を窓かけによって切り出し，HRTFの時間領域表現である頭部インパルス応答に足し合わせたものを仮想音源生成に用いることとした．聴取実験の結果，実音源には及ばないものの，聴取者のBRTFと同等の臨場感が得られること，室の伝達特性の測定は1個所で良いことが示され，提案法の有効性が示唆された．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究目的の一つである室の特性の付加による実在感のある仮想音源生成については，主観評価によって有効性が示唆された．ただし，被験者が1名であり，音源方向も限定的であることから，さらなる検討が必要であるため，「おおむね順調」と評価した．
Strategy for Future Research Activity	室の残響特性の付加が実在感に有効であることが示されたことから，主観評価の条件を増やし，提案法の有効性や制約などを明らかにする予定である．特に，残響特性の取得において，音源やマイクロホンの位置の制約が小さいほど実用的といえるため，それを検証することを考えている．