2024 Fiscal Year Research-status Report
高解像度音空間解析のためのデータ駆動型計測技術とその応用
| Project/Area Number |
23K24864
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
小山 翔一 国立情報学研究所, コンテンツ科学研究系, 准教授 (80734459)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
植野 夏樹 熊本大学, 大学院先端科学研究部(工), 准教授 (00939788)
中村 友彦 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50866308)
|
|---|
| Project Period (FY) |
2024-04-01 – 2026-03-31
|
| Keywords | 音場解析 / 音響信号処理 / 機械学習 / バーチャルリアリティ |
|---|
| Outline of Annual Research Achievements |
本年度は，1) 波動場の性質を組み入れた深層学習型音場計測法の発展形と評価，2) 音源／センサ位置非依存潜在変数による頭部伝達関数の個人化と振幅分布補間，の二つについて実施した。
1) 波動場の性質を組み入れた深層学習型音場計測法では，斉次ヘルムホルツ方程式を満たす制約を課したカーネル関数を，指向性成分と残響音成分に分離した音場のモデルに基づいて適応する手法について，昨年度に引き続き検討を行った。音場の指向生成分はvon Mises-Fisher型重み関数の線形和で，残響成分はニューラルネットワークで表現し，これらのパラメータを観測信号に基づいて最適化する。実環境データを含む様々な環境で評価を行った他，Physics-Informed Neural Networksなどの最新の技術との比較評価を行い，提案手法の優位性を示した。また，センサ側の補間だけでなく，音源側の補間にも対応する，領域間での音響伝達関数補間の問題に対しても適用を行った。ここではベイズ法を導入することで，雑音への頑健性を高める試みも行った。
2) 音源／センサ位置非依存潜在変数による頭部伝達関数の個人化と振幅分布補間では，頭部伝達関数（HRTF）を補間／アップサンプリングするための手法として，音源位置に非依存な潜在変数によるオートエンコーダを用いる手法の拡張を行った。まず，HRTFの個人化のための手法として，耳介形状のパラメータを入力としてHRTFを予測する問題において，直接HRTFを予測するのではなく，音源位置に非依存な潜在変数を予測する問題に置き換えることで効率的な予測を可能とする手法について検討を行った。また，音響伝達関数の振幅分布を補間する問題において，同様のアプローチを適用する手法についても検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，1) 波動場の性質を組み入れた深層学習型音場計測法の発展形と評価，2) 音源／センサ位置非依存潜在変数による頭部伝達関数の個人化と振幅分布補間，の二つについて，発展的な研究を実施できたと考えている。1)の内容は国際論文誌２編に採録されているほか，関連する内容が国際会議2件に採録されている。また，物理的特性に基づく機械学習による音場推定に関するチュートリアル論文も執筆し，国際論文誌に採録されてたほか，音場推定の基礎理論を中心とした内容の書籍を執筆した。2)の内容については国際会議に2件の投稿を行い，現在1件が採録決定，1件が査読中である。
|
| Strategy for Future Research Activity |
1) 波動場の性質を組み入れた深層学習型音場計測法については，現在波動場の性質を組み入れることが難しいと考えられている状況においての適用可能性について検討を実施する。具体的には，音場の振幅分布を補間する際には，波動方程式やヘルムホルツ方程式に関する制約を評価することが難しいが，位相復元と組み合わせることによってこれを実現することを検討する。2) 音源／センサ位置非依存潜在変数による頭部伝達関数の個人化と振幅分布補間については，HRTFの補間に関してはより簡易なデバイスで取得可能なデータ（例えば画像データ）を用いて個人化を行う手法について検討する。音響伝達関数補間への応用については，部屋の形状パラメータなどを組み入れることによる多様な環境への適用について検討を実施する。
|
| Causes of Carryover |
今年度，産業総合研究所において実施予定であった実験を，次年度に実施することにしたため，次年度使用額が生じた。
|
