Development of multi-lingual speech-based emotion recognition system by using heterogeneous emotional speech corpus

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K12059
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: LEE SHI-WOOK 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50415642)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 音声感情認識 / 音声信号処理 / 機械学習 / パターン認識 / 深層学習

Outline of Final Research Achievements

In this study, we were able to make a common speech emotion feature space between heterogeneous languages, Japanese and English, by constructing a system based on feature normalization and multi-task learning. Particularly in language-independent tasks of inputting Japanese speech into a system built entirely of English speech, the proposed triplet network provided a 35.61% performance improvement from 45.05% to 80.66%. We also proposed an ensemble method based on a domain adversarial neural network. For the individual system, the recognition performance of domain adversarial neural networks is lower than that of domain-dependent multi-task learning, but the performance of the proposed method using an ensemble method is reversibly higher.

Free Research Field

知覚情報処理

Academic Significance and Societal Importance of the Research Achievements

実用化の成功が著しい音声認識分野のコーパスとは対照的に、感情音声は低資源問題とも言えるほど学習データが少ないため、実用化が未だに難解な問題であった。本研究は、多言語の感情音声コーパスから感情音声の普遍的特徴空間を構築することであり、感性コミュニケーションを実現するための核心的な研究課題として学術的な意義を持つ。また、言語、性別と感情の3つのタスクを同時に最適化するマルチタスク学習、 アンサンブル手法により、日本語と英語の両方の性能において単一システムの性能を超える多言語システムの性能が得られた研究成果は人間と共感するコミュニケーション機械の開発における社会的な意義が高いと言える。