Data-driven sound field measurement for high-resolution spatial audio analysis and its applications
| Project/Area Number |
23K24864
|
|---|
| Project/Area Number (Other) |
22H03608 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | National Institute of Informatics (2023-2024)
The University of Tokyo (2022) |
|---|
Principal Investigator |
小山 翔一 国立情報学研究所, コンテンツ科学研究系, 准教授 (80734459)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
植野 夏樹 熊本大学, 大学院先端科学研究部(工), 准教授 (00939788)
中村 友彦 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50866308)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2025: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2024: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
|
|---|
| Keywords | 音場解析 / 音響信号処理 / 機械学習 / バーチャルリアリティ |
|---|
| Outline of Research at the Start |
本研究は，少数のセンサによる簡易かつ柔軟なシステムを用いて，高精度な音空間の解析を実現する，データ駆動型音場計測技術基盤の確立と その応用を目的とする。複数のセンサを用いた音空間(音場)の計測は，バーチャルリアリティ音響や音空間の可視化など，音場の推定 ・補間に基づく様々な工学的応用の基盤となる技術である。ここでは，事前に与えられる学習データ，あるいは逐次的な観測データに対し，波動場としての制約を保持しつつモデルを適応することによる，新たな音場計測技術を創出することを目指す。応用技術としては，特に音環境モニタリングや空間音響再現への適用について検討し，システムとしての実現を目標とする。
|
| Outline of Annual Research Achievements |
本年度は，1) 適応的カーネル補間のためのオンラインアルゴリズムの検討，2) 波動場の性質を組み入れた深層学習型音場計測法の改良，の二つについて実施した。
1) 適応的カーネル補間のためのオンラインアルゴリズムの検討では，特に対象音場に散乱体が含まれる場合について検討を行った。入射音場を斉次ヘルムホルツ方程式制約型カーネル関数の線形和として，散乱音場を外部音場のための球波動関数の線形和としてそれぞれモデル化し，これらのモデルパラメータをEMアルゴリズムによって最適化する枠組みを考案した。実応用上，散乱体の特性は未知であるため，様々な特性の散乱体が対象領域に含まれる場合や，それらが変動する場合において，追従可能な手法となっている。数値実験による検証・評価を行った。
2) 波動場の性質を組み入れた深層学習型音場計測法の改良では，カーネル補間による音場計測法に深層学習を組み入れる枠組みを考案した。従来のPhysics-informed Neural Networkでは，物理的な制約からの逸脱度を評価関数として組み入れるが，本手法では，推定解が斉時ヘルムホルツ方程式の解空間に制約されるという条件下で，カーネル関数を計測対象の環境に適応するため，ニューラルネットワークを用いている。音場を指向性成分残差成分とに分離してモデル化し，指向性成分をスパースなvon Mises-Fisher型重み関数で，残差成分をニューラルネットワークで表現し，それぞれのパラメータを同時に最急降下法に準ずる方法で最適化する。数値実験および実環境測定データを用いた実験による検証・評価を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，1) 適応的カーネル補間のためのオンラインアルゴリズムの検討，2) 波動場の性質を組み入れた深層学習型音場計測法の改良，の二つについて，発展性のある基礎的な技術を構築できた。これらの内容は，国内および国際会議において発表を行なっている他，2)の内容については国際論文を投稿し，現在査読中である。さらに，データ駆動型音場推定に関するチュートリアル論文を執筆し，現在査読中であり，今後の進展が期待できる成果と，これまでの取り組みのまとめとなる成果の両方が得られたと考えている。
|
| Strategy for Future Research Activity |
1) 適応的カーネル補間のためのオンラインアルゴリズムの検討については，最適化するパラメータをさらに拡張し，カーネル関数そのもののパラメータも逐次適応する枠組みに改良する予定である。これにより，対象領域内部に散乱体が存在する場合以外でも効果的な枠組みとなると考える。2) 波動場の性質を組み入れた深層学習型音場計測法の改良については，ベイズ法を導入することにより，雑音などに頑健な方法論を構築する予定である。これはすでに一部取り組みを始めているが，雑音がガウス性でない場合など，実環境データに対してはより柔軟な確率モデルを取り入れた手法が効果的であると考えている。
|
Report
(2 results)
Research Products
(13 results)
