Deepening of Array Signal Processing Theory Expanded to Asynchronous Distributed Channels and Real-World Applications

2020 Fiscal Year Final Research Report

• Project/Area Number: 16H01735
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: Tokyo Metropolitan University (2017-2020); National Institute of Informatics (2016)
• Principal Investigator: Ono Nobutaka 東京都立大学, システムデザイン研究科, 教授 (80334259)
• Co-Investigator(Kenkyū-buntansha): 牧野 昭二 筑波大学, システム情報系, 教授 (60396190) ; 猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974) ; 小山 翔一 東京大学, 大学院情報理工学系研究科, 講師 (80734459) ; 井本 桂右 立命館大学, 情報理工学部, 助教 (90802116) ; 越智 景子 東京工科大学, メディア学部, 助教 (20623713)
• Project Period (FY): 2016-04-01 – 2020-03-31
• Keywords: 非同期 / 分散 / マイクロフォンアレー / 音源分離 / 音源定位

Outline of Final Research Achievements

We have developed a new framework for acoustic signal processing to utilize multi-channel recordings from various asynchronous devices around us, such as smartphones, mobile devices, laptop PCs, and video cameras. Specifically, we have developed various acoustic signal processing methods such as synchronization of asynchronous recordings, separation of mixed sounds, location estimation of sound sources, multi-speaker speech recognition, and spatial feature extraction for acoustic event detection. We have also explored various real-world applications, such as hearing aids, medical applications of dialogue analysis, traffic monitoring, and biometrics. We have expanded our research into international collaboration with the Czech Republic and Germany.

Free Research Field

音響信号処理

Academic Significance and Societal Importance of the Research Achievements

音源位置を推定したり、混合音から目的音を分離、強調したりするためには、複数マイクロフォンによって得られた多チャンネル信号を処理する、アレイ信号処理と呼ばれる技術が必要である。しかしながら、従来のアレイ信号処理には厳密な同期録音が必要不可欠であり、世の中に多数存在するマイクロフォンのほとんどを活用することができなかった。これに対し本研究で開発した多彩な手法により、様々な機器による非同期録音をアレイ信号処理に利用可能にした学術的意義は大きい。また、前述のような実世界応用を開拓することにより、社会的にも貢献するものである。