2021 Fiscal Year Research-status Report
| Project/Area Number |
19K12066
|
|---|
| Research Institution | Akita Prefectural University |
|---|
Principal Investigator |
渡辺 貫治 秋田県立大学, システム科学技術学部, 准教授 (20452998)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
西口 正之 秋田県立大学, システム科学技術学部, 教授 (90756636)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | バーチャルリアリティ / バイノーラル録音 / 両耳間レベル差 / 収音 |
|---|
| Outline of Annual Research Achievements |
本研究では，音に関する空間の情報を任意の場所で仮想的に再現するため，ダミーヘッドによる収音で得られる両耳信号を聴取者の両耳信号に変換することで，多数のマイクロホンを必要としない小規模な収音・再生システムの実現を目標とする．従来のマイクロホンアレイで収音する方法は，低域の再現精度を高めるために巨大なアレイを用いる必要がある．一方，ヒトが両耳信号から空間を知覚していることを考えると，収音時に両耳信号を得ることで音空間情報は十分取得可能であると考えられる．提案するシステムでは，方向知覚の手がかりである両耳間レベル差に着目して音空間を方向別に分解し，聴取者の両耳間レベル差に基づく個人化を行うシステムを実装する．
前年度までに，両耳間レベル差に基づいた音源信号を方向別に分離する処理の検討と，聴取者の両耳間レベル差に合わせることで聴取者の聴感に合わせる個人化処理の検討を終えたため，それらを合わせたシステム全体の実装を行った．得られた信号に対して聴取実験による主観評価を行った結果，音の方向感については個人化の効果が見られたものの，音色に関して相違が感じられた．その結果を踏まえ，3年度は両耳間レベル差による個人化処理において，周波数分解能を上げて行うことで音色の改善を試みた．具体的には，これまでの検討で1/3オクターブバンドごとに個人化を適用していた処理を，さらに小さい帯域幅行う方法を適用した．主観評価実験の結果，1/20オクターブバンドまで周波数分解能を上げれば，音色の再現精度が向上することが示唆された．
また，前年度の成果を学会発表にて公表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
前年度の課題だった音色についても個人化の効果が見られたことは当初の予定通りであるが，コロナ禍の影響で主観評価実験が十分行えたとは言えないため．また，周波数分解能を変更したことでシステムの処理にも反映する必要があるため．
|
| Strategy for Future Research Activity |
これまでの検討で，ダミーヘッド録音信号をそのまま聴取するよりは，個人化処理を行うことで聴取者本人の両耳信号から得られる感覚に近づくという結果が得られ，提案法の効果がある程度示唆された．しかし，聴取者本人のものとの主観的な相違がまだ残っている．両耳間レベル差のみの個人化では不十分で，例えば位相も含めた方法を検討する必要があると考えている．そこで，アプローチを変え，深層学習によってダミーヘッドの両耳信号を直接聴取者本人の両耳信号に変換するような処理が実現できないか検討を行う．
|
| Causes of Carryover |
（理由）前年度に引き続き，コロナ禍のため人を使った主観評価に制限が設けられたことから，少人数の検討しか行えず経費が抑えられたことと，外部発表がオンラインで旅費の使用がなかったため．
（使用計画）今年度予定している深層学習には高性能な計算機が必要であるため，その購入に使用する予定である．また，提案するシステムの比較として従来法のマイクロホンアレイによる収音システムの構築も重要であると考え，そのためにも使用する予定である．
|
