Data-driven sound field measurement for high-resolution spatial audio analysis and its applications
Project/Area Number |
22H03608
|
Research Category |
Grant-in-Aid for Scientific Research (B)
|
Allocation Type | Single-year Grants |
Section | 一般 |
Review Section |
Basic Section 61010:Perceptual information processing-related
|
Research Institution | National Institute of Informatics (2023) The University of Tokyo (2022) |
Principal Investigator |
小山 翔一 国立情報学研究所, コンテンツ科学研究系, 准教授 (80734459)
|
Co-Investigator(Kenkyū-buntansha) |
中村 友彦 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50866308)
植野 夏樹 東京都立大学, システムデザイン研究科, 特任助教 (00939788)
|
Project Period (FY) |
2022-04-01 – 2026-03-31
|
Project Status |
Granted (Fiscal Year 2023)
|
Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
|
Keywords | 音場解析 / 音響信号処理 / 機械学習 / バーチャルリアリティ |
Outline of Research at the Start |
本研究は,少数のセンサによる簡易かつ柔軟なシステムを用いて,高精度な音空間の解析を実現する,データ駆動型音場計測技術基盤の確立とその応用を目的とする。複数のセンサを用いた音空間(音場)の計測は,バーチャルリアリティ(VR)音響や音空間の可視化など,音場の推定・補間に基づく様々な工学的応用の基盤となる技術である。ここでは,事前に与えられる学習データ,あるいは逐次的な観測データに対し,波動場としての制約を保持しつつモデルを適応することによる,新たな音場計測技術を創出することを目指す。応用技術としては,特に音環境モニタリングや空間音響再現への適用について検討し,システムとしての実現を目標とする。
|
Outline of Annual Research Achievements |
本年度は,1) 音場補間のためのカーネル関数の適応的アルゴリズムの構築,2) 波動場の性質を組み入れた深層学習型音場計測法の検討,3) 少数観測点からの頭部伝達関数補間手法の構築,の3つについて実施した。 1) 音場補間のためのカーネル関数の適応的アルゴリズムの構築では,音場のカーネル補間法において,推定解がヘルムホルツ方程式を満たす制約を保持しつつ,推定対象の環境に対してカーネル関数を適応的に学習可能なアルゴリズムを検討した。具体的には,カーネル関数を複数のサブカーネルの重み付き和として表現し,その重みパラメータを最適化する,マルチカーネル学習の枠組みに基づく。バッチ学習によるアルゴリズムを構築し,数値シミュレーションによって検証・評価を行った。 2) 波動場の性質を組み入れた深層学習型音場計測法の検討では,事前の学習データを用いる音場推定の枠組みにおいて,推定結果がHelmholtz方程式を満たすことを損失関数に組み入れる手法を検討した。畳み込みニューラルネットワークに基づく補間において,出力値の補間に基づくヘルムホルツ方程式由来の損失関数を組み入れることに基づく。2次元空間での数値シミュレーションにより,対象領域内が自由空間の場合,散乱体を含む場合の二通りについて検証・評価を行った。 3) 少数観測点からの頭部伝達関数補間手法の構築は,開始当初は実施を想定していなかったが,関連性の強い技術として検討に着手した。線形回帰に基づく従来法を再解釈し,オートエンコーダ構造を用いた深層学習に基づく補間手法を構築した。公開データセットを用いた検証・評価により,有効性を確認した。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は,1) 音場補間のためのカーネル関数の適応的アルゴリズムの構築,2) 波動場の性質を組み入れた深層学習型音場計測法の検討,の2つについて,計画通り研究を実施し,発展性のある基礎的な技術を構築できた。さらに,当初想定していなかった3) 少数観測点からの頭部伝達関数補間手法の構築についても成果が得られた。これらの内容は,国内および国際会議において発表を行なっている。本技術は,極めて少数のマイクロフォンを用いた音場計測技術の確立に向けた足がかりとなる成果であると考える。
|
Strategy for Future Research Activity |
1) 音場補間のためのカーネル関数の適応的アルゴリズムについては,今後はオンラインアルゴリズムの検討が必要になると考える。これにより,推定対象の音環境が時変の場合であっても,逐次的に適応することが可能となる。2) 波動場の性質を組み入れた深層学習型音場計測法については,現在は2次元空間での検討にとどまっているため,今後は3次元化の検討が必要である。ただし,ヘルムホルツ方程式損失関数の算出において,補間方法の再検討が必要になると予想している。
|
Report
(1 results)
Research Products
(6 results)