Solving the cocktail party problem using deep learning

2021 Fiscal Year Final Research Report

• Project/Area Number: 18K19819
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Osaka University
• Principal Investigator: Kitazawa Shigeru 大阪大学, 生命機能研究科, 教授 (00251231)
• Project Period (FY): 2018-06-29 – 2022-03-31
• Keywords: カクテルパーティー効果 / 深層学習 / transformer

Outline of Final Research Achievements

We can hear what others are saying even at a party where many people are talking. In this study, we attempted to create an artificial neural network that directs attention to one of the overlapping speech signals by autonomous learning, with the goal of creating a neural circuit model that can be compared to the human brain. We showed that an artificial neural circuit model (transformer) equipped with an attention mechanism could "recognize" environmental sounds as multiple objects and acquire a mechanism to "pay attention" to any one of them. This audio-transformer may be a promising neural model for solving the mystery of the "cocktail party problem".

Free Research Field

認知神経科学

Academic Significance and Societal Importance of the Research Achievements

カクテルパーティー効果は私たちが日常で体験できる現象だが、その神経基盤は未知である。本研究では「特定の音に対して注意を向ける」人工神経回路を自律的な学習で作りだすことに成功した。最近Googleのグループなどが二人の音声を聞き分けることだけに特化した人工神経回路を発表しているが、それらは正解を与えて学習させる「教師付学習」を用いている。我々はそのような強制的な学習を行わずとも、環境音を聞いているうちに「自然に」音の特徴を使って聞き分けるように人工神経回路を育てることが可能であることを示した。ヒトは教師付学習を行っていないので、我々の得たモデルはよりヒトの脳に近いことが期待される。