A study on production mechanism and modeling of emotional speech

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K00297
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Intelligent informatics
• Research Institution: Japan Advanced Institute of Science and Technology
• Principal Investigator: Dang Jianwu 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)
• Co-Investigator(Kenkyū-buntansha): 田中 宏和 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00332320) ; 赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571) ; 末光 厚夫 札幌保健医療大学, 保健医療学部, 教授 (20422199)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 音声生成 / 感情音声 / 脳ネットワーク / 神経学的モデル / 音声生成モデル

Outline of Final Research Achievements

In this study, we investigated production mechanism of emotional speech and its modeling based on articulatory movements, neurological activities and behavioral observations. Articulation analysis showed that the position of the tongue dorsum moves lower and backward for sad speech, while the dorsum moves forward for happiness. We used eye movement and EEG to observe the brain activations in the full time scale during continuously oral reading. Analysis of the brain networks reconstructed based on EEG showed that the speech planning network acts for each word, and the semantic processing network is more active in the first half of reading, while the grammar processing network becomes more active in the second half. This suggests that the semantic processing gets easier since the context information becomes rich in the second half of the continuous reading.

Free Research Field

言語科学、音声生成

Academic Significance and Societal Importance of the Research Achievements

これまでの音声に関する脳研究のほとんどは、音声資料は孤立の言葉を使用するか、または特定な時間区間のみに注目している。もう一つの問題は、音声生成過程には発話運動による筋電の影響で脳電図の分析が困難である。本研究では、眼球運動と脳電図を用いて連続文章の朗読における脳活動を全時間帯で計測することによって音声生成における脳ネットワークの動的特性を分析する。本研究は非侵襲的な手法により脳活動を連続的全時間帯で計測するのは音声生成町域で初めての挑戦である。実験ディザインとデータ分析への貢献は、眼球運動のデータを脳活動の時間的な指標として使用し、脳ネットワーク活動と時間との対応関係を明確にした。