2021 Fiscal Year Final Research Report
Real-time multimodal emotion recognition system that estimates emotional dynamics
Project/Area Number |
17K00160
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Research Field |
Multimedia database
|
Research Institution | Chiba Institute of Technology (2019-2021) Teikyo University (2017-2018) |
Principal Investigator |
|
Project Period (FY) |
2017-04-01 – 2022-03-31
|
Keywords | 感情認識 / マルチモダリティ / 音声 / 表情 / 心拍 / 発汗 / 機械学習 / テキスト |
Outline of Final Research Achievements |
Multimodal emotion recognition models to estimate 3-dimensional emotions (pleasant-displeased, arousal-sleep, and dominance-submission) using speaker's facial and vocal expression and autonomic nervous system responses during online conversation were constructed and evaluated. The results showed that the difference between the estimated emotional values of the correct emotional values in the text chat situation was 0.32 for pleasant-displeased, and 0.36 for both arousal-sleep and dominance-obedience. In the model for the voice chat situation, the mean square error (MSE) was 0.121 for pleasant-displeased, 0.161 for arousal-sleep, and 0.164 for dominance-submissiveness. In addition, real-time multimodal emotion recognition system was implemented for estimating speaker's emotional dynamics during online conversation.
|
Free Research Field |
音声言語情報処理
|
Academic Significance and Societal Importance of the Research Achievements |
本研究の成果により,オンライン対話場面において,欠落する感情を補完する仕組みを実現することが可能となる。例えば,インターネットを利用した音声チャットやテキストチャットにおける対話場面で,本システムの感情推定技術を用いれば,話者の感情を推定した結果を対話相手に提示することができる。新型コロナウィルスの蔓延により,顧客との打合せや大学の授業などもオンライン環境下で行うようになった。オンライン環境下で感情コミュニケーションに齟齬が生じ,本来の目的を達成することに困難を感じることも多い。本研究課題で構築するシステムは,こうした問題を解決しうる世界初のリアルタイムマルチモーダル感情推定システムとなる。
|