2023 Fiscal Year Research-status Report
Development of data-driven multiple sound spot synthesis technology based on deep generative neural network models
| Project/Area Number |
23K11177
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
岡本 拓磨 国立研究開発法人情報通信研究機構, ユニバーサルコミュニケーション研究所先進的音声翻訳研究開発推進センター, 主任研究員 (10551567)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | マルチスポット再生 / 音場制御 / 局所再生 / スピーカアレイ / データ駆動 / 誤差逆伝播 |
|---|
| Outline of Annual Research Achievements |
＜データ駆動型マルチスポット再生方式の提案＞
従来のマルチスポット再生方式の多くはは局所再生方式をエリアごとに重ね合わせる方式であるため，同時に再生されるお互いの再生信号を考慮していない．隣り合う再生信号を考慮した方式も提案されているが，エリアが2つに限定されていた．提案法を導出するにあたり，まず最初に，ニューラルネットワークの学習で用いられている誤差逆伝播を用いた局所再生方式を提案した．これは，再生音場と目的音場の誤差を誤差逆伝播することにより各スピーカの駆動信号を更新する方式である．計算機シミュレーションにより逆行列を用いた方式と比較して再生誤差を低減できることを示した．その上で，複数の音信号をそれぞれのエリアに同時に再生した場合のマルチスポット再生にも誤差逆伝播を用いた方式を提案し，計算機シミュレーションにより逆行列を用いた方式と比較して再生誤差を低減できることを示した．本成果は日本音響学会2024年春季研究発表会にて発表し，現在ジャーナル論文執筆中である．
＜デモ展示＞
これまでに開発した16チャネル円形アレイを用いたフーリエ変換に基づくマルチスポット再生を実装し，ICASSP 2023およびWASPAA 2023にてデモ展示を行った．また，代表者が本務で研究開発している多言語同時通訳と音声マルチスポット再生を統合したデモ展示をNICTオープンハウスやCEATEC 2023等，数多くのデモ展示を行った．CEATEC 2023での4言語音声マルチスポット再生が反響を呼び，2024年1月28日，日本テレビ「博士は今日も嫉妬する 人生が楽しくなる最新テクノロジー」において「Case142 特定の場所だけ聞こえるスピーカー」としてTV地上波において全国放送された．さらに，Internoise 2023においてデモシステム紹介を含めた招待講演を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
計画通り，データ駆動型のマルチスポット再生を提案し，従来方式よりも精度よく制御できることを示せたためである．さらに，実装したデモシステムが予想を上回る好評ぶりであったことから，当初の計画以上に進展していると自己評価した．
|
| Strategy for Future Research Activity |
2023年度に提案した誤差逆伝播を用いたデータ駆動型マルチスポット再生方式をジャーナル論文化し，さらにデモ機材への実装を行う．その上で，人間の聴覚特性を考慮した方式やマスキングを考慮した方式への拡張を行う．
|
| Causes of Carryover |
次年度使用額が生じた理由：提案方式に予想以上の進展があったため，年度内に予定していた聴取実験および論文投稿を来年度に実施する方針に変更したため．
使用計画：2023年度に提案した誤差逆伝播を用いたデータ駆動型マルチスポット再生方式のジャーナル執筆における再生音声聴取実験，英文校閲および論文掲載料として用いるため．
|
