2018 Fiscal Year Final Research Report

Formulation of a recording method of the entire sound field by the fusion of acoustical signal processing and artificial intelligence technology

Research Project

PDF

Project/Area Number	16K06384
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Research Field	Measurement engineering
Research Institution	University of Yamanashi
Principal Investigator	OZAWA Kenji 山梨大学, 大学院総合研究部, 教授 (30204192)
Co-Investigator(Kenkyū-buntansha)	坂本修一東北大学, 電気通信研究所, 准教授 (60332524) 森勢将雅山梨大学, 大学院総合研究部, 准教授 (60510013)
Project Period (FY)	2016-04-01 – 2019-03-31
Keywords	マイクロホンアレイ / 時空間音圧分布画像 / 音源分離 / 2次元フーリエ変換 / ニューラルネットワーク / 深層学習 / L1正則化 / スペクトル減算法
Outline of Final Research Achievements	This project aims to achieve sound source separation based on the two-dimensional fast Fourier transform (2D FFT) of a spatio-temporal sound pressure distribution image consisting of the outputs of a microphone array. The target sound, which arrives from the front of the array, forms vertical stripes in the image. Therefore, its spectral components are perfectly localized as direct current (DC) components along the spatial frequency axis in the 2D-FFT spectrum. In this study, noise suppression was performed by spectral subtraction after the DC components of noise were instantaneously estimated from the spectrum using an artificial intelligence technique, deep neural networks. As a result, the proposed method showed better performance than the conventional methods (delay and sum beamformer, MV beamformer) for separating the target sound from sound with a different direction of arrival. The proposed method is also applicable for separating two sound sources in the same direction.
Free Research Field	音響信号処理
Academic Significance and Societal Importance of the Research Achievements	超高品位テレビ方式（スーパーハイビジョン）は，室内に22個のスピーカを配置することで音の空間情報を近似的に再生するものであり，真の意味で音の空間情報を記録するには不十分である。将来的に高次遠隔コミュニケーションを実現する，また歴史的瞬間の現場を完全に記録・再現するためには，全周にわたり精密に音の空間情報を記録する手法の開発が望まれている。これを小規模なシステムにより実現することは，スマートスピーカやスマートフォンの音声インタフェースが一般に普及している今日において大きな社会的意義がある。本研究では，これを実現するために，急激に発展している人工知能技術を利用することに学術的な意義がある。