2021 Fiscal Year Research-status Report
脳波と眼球運動を用いた音声生成と知覚の神経メカニズムに関する研究
| Project/Area Number |
20K11883
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
党 建武 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 音声生成 / 音声理解 / 脳ネットワーク / 脳活動の動的特性 / 音声生成の神経学的モデル |
|---|
| Outline of Annual Research Achievements |
連続音声理解における神経学的メカニズムを考察するため、物語の録音とその逆回しをそれぞれ聴取させ、EEG信号を収録した。機能的ハイパーアラインメント法を用いてEEGのノイズを低減してから、EEGから脳内のソースを再構築し、音声入力からソース領域までのTRFを推定した。TRFの相関性に基づいて脳ネットワークを構築して、コミュニティ検出法を用いて脳ネットワークの特性を調査した。その結果、通常物語の音声理解における脳の活動領域は、従来fMRIに基づいたものと一致した。それに対して同じ物語の時間反転音声(無意味文)に対して語彙認知に関する領域は活動がなくなかった。
音声生成の神経学的メカニズムを究明するため、連続文を朗読する際、EEGと眼球運動を記録して、EEGからソースの再構築をしたうえ、空間と時間および周波数の側面を統一したフレームワークで脳の音声処理メカニズムを考察した。音声理解過程には、アモーダルな意味センター(ATL)と腹側通路に沿ったモダリティ特定の感覚運動系との頻繁な相互作用及び、背側通路に沿った運動系の積極的な関与が含まれることがわかった。同様に、音声生成には、予測と聴覚フィードバック補正のため聴覚システムも積極的に関与していることを確認した。階層的な言語構造は、異なる周波数帯域での神経振動によって対処しており、スケールの異なる言語単位の相互作用は、クロス周波数結合のメカニズムを介して実現することがわかった。
上記の結果に基づいて、我々は音声生成と理解の神経学的機能モデルの雛形を構築した。そこで、既存モデルを語彙レベルから文レベルに拡張したうえ、ボトムアップ/トップダウンの機能を動的な組織化システムに取り入れた。このモデルは、脳ネットワーク内でのコミュニケーションの神経振動現象を説明でき、更に音声機能の基礎となる神経メカニズムのより深い考察に応用することも期待できる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
コロナ禍のため、音声生成と音声知覚(復唱)のEEG実験の一部を計画通り実施できなかった。
|
| Strategy for Future Research Activity |
引き続き連続文の復唱EEG実験の実施を努める同時に、これまで収録した連続文朗読の実験データに対して、音声フィードバックに関する部分を再分析し、音声生成と音声知覚との相互作用を考察して、構築して音声生成の神経学的モデルを完成する予定である。
|
