2017 Fiscal Year Research-status Report
情動による感情音声発話のメカニズムとモデル化に関する研究
| Project/Area Number |
16K00297
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
党 建武 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 宏和 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00332320)
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
末光 厚夫 札幌保健医療大学, 保健医療学部, 准教授 (20422199)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 音声生成 / 感情音声 / 脳電図 / ｆMRI / 眼球運動 / 神経生理学モデル |
|---|
| Outline of Annual Research Achievements |
情動により駆動される感情は、人間の本能で、音声コミュニケーションには欠かせない機能を果たしている。しかし、これまで脳機能に関する計算モデルの研究は知的機能のみにとどまり、情動に関する機能にほとんど触れなかった。そのため、本研究では、脳神経学の最新知見に基づいて、情動による感情音声発話のメカニズムを解明し、感情生成と知覚の機能を取り入れ感情音声発話の神経生理学的計算モデルを構築することを目的とする。
平成29年度では、我々は眼球運動と脳電図を用いて、文章を朗読する際音声計画のメカニズムを考察した。その結果、単語ごとの潜時時間は運動指令の構築のみならず、語彙の理解に依存していることは明らかにした。また、文章を朗読したときに、脳内ネットワークにおける情報の流れを明らかにした。
本研究では、真の言葉と偽の言葉および名詞と動詞を用い、被験者に聴取させながら脳の動的な活動を考察した。その結果、言葉の理解時に脳ネットワークにおける各部位の活動と情報の流れを明らかにした。また、名詞と動詞に関する神経学的区分について文法的な要素でなく語彙は重要な役割を果たしていることが分かった。
音声生成と音声知覚との関係について、調音部位の異なる単語を被験者に聴取させ、脳電図を用いて発話運動野の脳活動を観測した。その結果、唇の突き出し有無の言葉に対して、口唇に対応する発話運動野に活動パターンが異なることが明らかにした。
感情知覚について、我々はfMRIを用いて、被験者に感情音声と感情表情を見せて脳内の活動を計測した。データの分析に基いて、脳の感情モデルを構築している。ｆMRIは時間分解能が低いという欠点を補正するため、本研究では、感情が豊かである動画を被験者に見せながら脳電図を計測し、脳神経ネットワークの動的変化を分析している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１．音声生成のメカニズムの脳電図研究についていくつかの研究成果を発表した。
２．音声生成と音声知覚に関する脳研究の成果を発表した。
３．感情音声の分析は順調に進んでいる。
４．感情音声に関するfMRIデータと脳電図データを収録して、分析を行っている。
|
| Strategy for Future Research Activity |
計画通り進める予定である。
|
| Causes of Carryover |
物品を購入する際、価格の変動により残額が少々出てきた。その残額は、今年度の助成金に合わせて使用する予定である。
|
