A study on production mechanism and modeling of emotional speech
| Project/Area Number |
16K00297
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Research Field |
Intelligent informatics
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
Dang Jianwu 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 宏和 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00332320)
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
末光 厚夫 札幌保健医療大学, 保健医療学部, 教授 (20422199)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Project Status |
Completed (Fiscal Year 2018)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2018: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2017: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2016: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 音声生成 / 感情音声 / 脳ネットワーク / 神経学的モデル / 音声生成モデル / 発話計画 / 脳活動の動的特性 / 脳電図 / ｆMRI / 眼球運動 / 神経生理学モデル / 感情音声発話 / 情動 / モデル化 |
|---|
| Outline of Final Research Achievements |
In this study, we investigated production mechanism of emotional speech and its modeling based on articulatory movements, neurological activities and behavioral observations. Articulation analysis showed that the position of the tongue dorsum moves lower and backward for sad speech, while the dorsum moves forward for happiness. We used eye movement and EEG to observe the brain activations in the full time scale during continuously oral reading. Analysis of the brain networks reconstructed based on EEG showed that the speech planning network acts for each word, and the semantic processing network is more active in the first half of reading, while the grammar processing network becomes more active in the second half. This suggests that the semantic processing gets easier since the context information becomes rich in the second half of the continuous reading.
|
| Academic Significance and Societal Importance of the Research Achievements |
これまでの音声に関する脳研究のほとんどは、音声資料は孤立の言葉を使用するか、または特定な時間区間のみに注目している。もう一つの問題は、音声生成過程には発話運動による筋電の影響で脳電図の分析が困難である。本研究では、眼球運動と脳電図を用いて連続文章の朗読における脳活動を全時間帯で計測することによって音声生成における脳ネットワークの動的特性を分析する。本研究は非侵襲的な手法により脳活動を連続的全時間帯で計測するのは音声生成町域で初めての挑戦である。実験ディザインとデータ分析への貢献は、眼球運動のデータを脳活動の時間的な指標として使用し、脳ネットワーク活動と時間との対応関係を明確にした。
|
Report
(4 results)
Research Products
(64 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Mandarin Citation Tone Patterns of Prelingual Chinese Deaf Adults2016
Author(s)
Yanting Chen, Yu Chen, Jin Zhang, Ju Zhang,eHua Lin, Jianguo Wei and Jianwu Dang 3.Yanting Chen, Yu Chen, Jin Zhang, Ju Zhang,eHua Lin, Jianguo Wei and Jianwu Dang
Organizer
APSIPA
Place of Presentation
Jeju, KKorea
Year and Date
2016-12-13
Related Report
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
