| Project/Area Number |
23K24864
|
|---|
| Project/Area Number (Other) |
22H03608 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | National Institute of Informatics (2023-2024)
The University of Tokyo (2022) |
|---|
Principal Investigator |
小山 翔一 国立情報学研究所, コンテンツ科学研究系, 准教授 (80734459)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
植野 夏樹 熊本大学, 大学院先端科学研究部(工), 准教授 (00939788)
中村 友彦 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50866308)
|
|---|
| Project Period (FY) |
2024-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2025: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2024: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
|
|---|
| Keywords | 音場解析 / 音響信号処理 / 機械学習 / バーチャルリアリティ |
|---|
| Outline of Research at the Start |
本研究は，少数のセンサによる簡易かつ柔軟なシステムを用いて，高精度な音空間の解析を実現する，データ駆動型音場計測技術基盤の確立と その応用を目的とする。複数のセンサを用いた音空間(音場)の計測は，バーチャルリアリティ音響や音空間の可視化など，音場の推定 ・補間に基づく様々な工学的応用の基盤となる技術である。ここでは，事前に与えられる学習データ，あるいは逐次的な観測データに対し，波動場としての制約を保持しつつモデルを適応することによる，新たな音場計測技術を創出することを目指す。応用技術としては，特に音環境モニタリングや空間音響再現への適用について検討し，システムとしての実現を目標とする。
|
| Outline of Annual Research Achievements |
本年度は，1) 波動場の性質を組み入れた深層学習型音場計測法の発展形と評価，2) 音源／センサ位置非依存潜在変数による頭部伝達関数の個人化と振幅分布補間，の二つについて実施した。
1) 波動場の性質を組み入れた深層学習型音場計測法では，斉次ヘルムホルツ方程式を満たす制約を課したカーネル関数を，指向性成分と残響音成分に分離した音場のモデルに基づいて適応する手法について，昨年度に引き続き検討を行った。音場の指向生成分はvon Mises-Fisher型重み関数の線形和で，残響成分はニューラルネットワークで表現し，これらのパラメータを観測信号に基づいて最適化する。実環境データを含む様々な環境で評価を行った他，Physics-Informed Neural Networksなどの最新の技術との比較評価を行い，提案手法の優位性を示した。また，センサ側の補間だけでなく，音源側の補間にも対応する，領域間での音響伝達関数補間の問題に対しても適用を行った。ここではベイズ法を導入することで，雑音への頑健性を高める試みも行った。
2) 音源／センサ位置非依存潜在変数による頭部伝達関数の個人化と振幅分布補間では，頭部伝達関数（HRTF）を補間／アップサンプリングするための手法として，音源位置に非依存な潜在変数によるオートエンコーダを用いる手法の拡張を行った。まず，HRTFの個人化のための手法として，耳介形状のパラメータを入力としてHRTFを予測する問題において，直接HRTFを予測するのではなく，音源位置に非依存な潜在変数を予測する問題に置き換えることで効率的な予測を可能とする手法について検討を行った。また，音響伝達関数の振幅分布を補間する問題において，同様のアプローチを適用する手法についても検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，1) 波動場の性質を組み入れた深層学習型音場計測法の発展形と評価，2) 音源／センサ位置非依存潜在変数による頭部伝達関数の個人化と振幅分布補間，の二つについて，発展的な研究を実施できたと考えている。1)の内容は国際論文誌２編に採録されているほか，関連する内容が国際会議2件に採録されている。また，物理的特性に基づく機械学習による音場推定に関するチュートリアル論文も執筆し，国際論文誌に採録されてたほか，音場推定の基礎理論を中心とした内容の書籍を執筆した。2)の内容については国際会議に2件の投稿を行い，現在1件が採録決定，1件が査読中である。
|
| Strategy for Future Research Activity |
1) 波動場の性質を組み入れた深層学習型音場計測法については，現在波動場の性質を組み入れることが難しいと考えられている状況においての適用可能性について検討を実施する。具体的には，音場の振幅分布を補間する際には，波動方程式やヘルムホルツ方程式に関する制約を評価することが難しいが，位相復元と組み合わせることによってこれを実現することを検討する。2) 音源／センサ位置非依存潜在変数による頭部伝達関数の個人化と振幅分布補間については，HRTFの補間に関してはより簡易なデバイスで取得可能なデータ（例えば画像データ）を用いて個人化を行う手法について検討する。音響伝達関数補間への応用については，部屋の形状パラメータなどを組み入れることによる多様な環境への適用について検討を実施する。
|
