Development of a method for extracting and reproducing sound objects focusing on singular points in multi-dimensional spatio-temporal spectra

• Project/Area Number: 24K02958
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: University of Yamanashi
• Principal Investigator: 小澤 賢司 山梨大学, 大学院総合研究部, 教授 (30204192)
• Co-Investigator(Kenkyū-buntansha): 坂本 修一 東北大学, 電気通信研究所, 教授 (60332524) ; 渡辺 貫治 秋田県立大学, システム科学技術学部, 准教授 (20452998) ; 鳥谷 輝樹 山梨大学, 大学院総合研究部, 特任助教 (00911223)
• Project Period (FY): 2024-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,330,000 (Direct Cost: ¥14,100,000、Indirect Cost: ¥4,230,000); Fiscal Year 2027: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000); Fiscal Year 2026: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2025: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2024: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000)
• Keywords: マイクロホンアレイ / 音オブジェクト / 時空間音圧分布画像 / 時空間スペクトル / 画像修復

Outline of Research at the Start

次世代の聴覚メディアにおいては，音オブジェクトの抽出が肝となる。本研究では，小規模マイクロホンアレイによる高精度な音オブジェクト抽出の実現を目指す。その原理として，アレイ出力の音響信号を画像と見なした場合に，目的音の到来方向が，その時空間スペクトルにおいて特異点となることを利用する。すなわち，時空間スペクトルを画像と見なした場合に，目的音抽出が空間直流成分の画像修復と同様に扱えることを利用する。