2016 Fiscal Year Research-status Report
情動による感情音声発話のメカニズムとモデル化に関する研究
| Project/Area Number |
16K00297
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
党 建武 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 宏和 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00332320)
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
末光 厚夫 札幌保健医療大学, 看護学部, 准教授 (20422199)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 感情音声 / 音声生成 / 神経生理学モデル / 脳電図 / ｆMRI |
|---|
| Outline of Annual Research Achievements |
情動により駆動される感情は、人間の本能で、音声コミュニケーションには欠かせない機能を果たしている。しかし、これまで脳機能に関する計算モデルの研究は主に知的機能のみにとどまり、情動に関する機能にほとんど触れなかった。そのため、本研究では、脳神経学の最新知見に基づいて、情動による感情音声発話のメカニズムを解明し、感情生成と知覚の機能を取り入れ感情音声発話の神経生理学的計算モデルを構築し、さらにモデルにより自閉症などの情動障害の早期発見とリハビリテーションへの応用を図ることを目的とする。
平成28年度は、本研究の初年度で、おおむねに当初の計画通り進んでいる。本研究の基礎部分として、我々は感情音声の知覚時の脳活動データを収録した。そこで、ｆMRIを用いて、データの収録では、怒り、悲しみと喜びの三感情を知覚する時の脳活動に対して、20名の被験者からデータを収録した。これらのデータを分析しつつある。
人間感情の動的変化を捉えるため、本研究では時間分解能の高い脳電図（EEG）を用いて感情変化時の脳活動を観測することにした。その準備研究として、EEGに基づいたソース再構成の方法を用いて、音声知覚における脳活動の動的変化を分析し、ERPやｆMRIによる先行研究の結果と比較することにより、提案方法の有効性を確認した。その結果を国際学会で発表し、国際学術雑誌に投稿中である。
感情音声発話神経生理学的計算モデルの構築では、米国ボストン大学の提案した音声生成ニューロン計算モデル（DIVAモデル）を基に、情動部位に関わる感情モジュールを取り入れて、感情音声を生成した。その成果を国際大会で発表し、また脳の運動制御計算モデルについて、多数の研究成果を発表した。
非母語の発話学習について、発話運動を可視化して学習者へフィードバックにより学習の効果を促進することを明らかにした。この成果を国際学会で発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成28年度当初の計画通り、感情音声を知覚する時脳活動のｆMRIデータを収録し、データの分析を行っている最中である。
感情の動的変化の研究について、感情が平静の状態からほかの感情を変移する時の脳電図データの収録も行っている。
感情音声の発話時において計測した発話運動データを分析して、真の感情と演じた感情の発話時の調音運動における差異を明らかにした。
また、発表成果に入れていないが、インターネット上の情報を利用して、うつ病の早期予測に関する研究論文をつい最近国際学術雑誌に採択された。
|
| Strategy for Future Research Activity |
被験者のデータ収集を強化して、ほかの部分には計画通り研究を進める予定です。
|
| Causes of Carryover |
計画された実験の一部は実験者の都合により実施できなかった。
|
| Expenditure Plan for Carryover Budget |
上記の実験を平成29年度で実施する予定である。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Mandarin Citation Tone Patterns of Prelingual Chinese Deaf Adults2016
Author(s)
Yanting Chen, Yu Chen, Jin Zhang, Ju Zhang,eHua Lin, Jianguo Wei and Jianwu Dang 3.Yanting Chen, Yu Chen, Jin Zhang, Ju Zhang,eHua Lin, Jianguo Wei and Jianwu Dang
Organizer
APSIPA
Place of Presentation
Jeju, KKorea
Year and Date
2016-12-13 – 2016-12-16
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
