Solving the cocktail party problem using deep learning

Research Project

Project/Area Number	18K19819
Research Category	Grant-in-Aid for Challenging Research (Exploratory)
Allocation Type	Multi-year Fund
Review Section	Medium-sized Section 61:Human informatics and related fields
Research Institution	Osaka University
Principal Investigator	Kitazawa Shigeru 大阪大学, 生命機能研究科, 教授 (00251231)
Project Period (FY)	2018-06-29 – 2022-03-31
Project Status	Completed (Fiscal Year 2021)
Budget Amount *help	¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000) Fiscal Year 2019: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000) Fiscal Year 2018: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Keywords	カクテルパーティー効果 / 深層学習 / transformer / 聴覚野
Outline of Final Research Achievements	We can hear what others are saying even at a party where many people are talking. In this study, we attempted to create an artificial neural network that directs attention to one of the overlapping speech signals by autonomous learning, with the goal of creating a neural circuit model that can be compared to the human brain. We showed that an artificial neural circuit model (transformer) equipped with an attention mechanism could "recognize" environmental sounds as multiple objects and acquire a mechanism to "pay attention" to any one of them. This audio-transformer may be a promising neural model for solving the mystery of the "cocktail party problem".
Academic Significance and Societal Importance of the Research Achievements	カクテルパーティー効果は私たちが日常で体験できる現象だが、その神経基盤は未知である。本研究では「特定の音に対して注意を向ける」人工神経回路を自律的な学習で作りだすことに成功した。最近Googleのグループなどが二人の音声を聞き分けることだけに特化した人工神経回路を発表しているが、それらは正解を与えて学習させる「教師付学習」を用いている。我々はそのような強制的な学習を行わずとも、環境音を聞いているうちに「自然に」音の特徴を使って聞き分けるように人工神経回路を育てることが可能であることを示した。ヒトは教師付学習を行っていないので、我々の得たモデルはよりヒトの脳に近いことが期待される。