2018 Fiscal Year Annual Research Report
A study on production mechanism and modeling of emotional speech
| Project/Area Number |
16K00297
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
党 建武 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 宏和 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00332320)
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
末光 厚夫 札幌保健医療大学, 保健医療学部, 教授 (20422199)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 音声生成 / 発話計画 / 脳ネットワーク / 脳活動の動的特性 |
|---|
| Outline of Annual Research Achievements |
音声コミュニケーションにおいては、発話意図から音声生成まで、脳ネットワークがどのように活動しているか、脳ネットワークの間にはどのように情報を交換しているかについて、謎がまだ多かった。前年度に眼球運動を用いた行動学的な研究では、連続朗読音声における発話計画をする際、単語ごとの潜時時間は運動指令の作成のみならず、語彙の理解にも依存していることは明らかにした。平成30年度では、我々は眼球運動と脳電図を用いて、前年度の行動学的な研究結果を検証した。
本研究では、我々は既存のｆMRIに基づいた視覚処理、発話計画、語意処理、音韻処理などの脳ネットワークのテンプレートを用いて、文章を朗読する際全時間帯を通して観測した脳電信号をフィルタリングすることにより、脳ネットワークの活動を考察した。その結果、文頭単語の潜時時間に比べて、文末単語のそれは４０％短縮された。短縮された分の内訳を分析してみると、語意処理以外の要素が多数存在していることを明らかにした。
全時間帯にわたって音声を生成する際の脳活動の動的特性を分析したところ、左半球にある語意処理ネットワーク、正字処理ネットワーク、音韻処理ネットワーク及び右半球にある韻律処理ネットワークや発話計画ネットワークを活動している。また、両側の聴覚ネットワークとマルティセンサーリ統合ネットワークも音声生成にかかわっていることを明らかにした。
また、言語理解のメカニズムを調べるため、漢字の発音または形状の間違った漢字を摂動として入れた文章を被験者に読ませる際、眼球運動装置によって理解のプロセス考察した。その結果、漢字の文章を理解するとき、被験者がまずbottom-upの処理を実施したあと、top-downの処理を行い、語意理解には文字の形状より文字の発音が優位であることが分かった。
|
