Speech Emotion Recognition Based on Extracting Features for Emotion Expression

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K11898
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Ritsumeikan University
• Principal Investigator: Yamashita Yoichi 立命館大学, 情報理工学部, 教授 (80174689)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 音声感情認識 / 言語情報 / ソフトラベル / 話題 / 短区間 / CTC

Outline of Final Research Achievements

Speech conveys not only verbal information but also paralinguistic information such as emotions. In conversations between people, such paralinguistic information is used naturally to achieve smooth dialogue. Emotion recognition plays an important role in realizing smooth information exchange by speech between humans and machines. In order to improve the performance of speech emotion recognition, we proposed new methods and confirmed their effectiveness as follows; (1) speech emotion recognition using both acoustic and linguistic features, (2) emotion recognition model training using soft labels, (3) speech emotion recognition using topics, and (4) speech emotion recognition for short segments of speech.

Free Research Field

音声情報処理

Academic Significance and Societal Importance of the Research Achievements

音声認識技術の急速な進歩によって、音声から文字テキストへの変換は実用化されたと言ってよい状況になっている一方で、音声が伝達する情報のうち、感情など言語情報以外の情報の自動認識はまだ発展途上にある。本研究では、音声における感情認識の性能を向上させるための手法を開発した。また、音声においては、一発話の途中で感情が変化することは一般的に起こりうることであり、音声における短い単位に対して感情を推定する手法の開発が求められており、音声の短区間を対象とする感情認識の手法についても取り組んだ。