2022 Fiscal Year Annual Research Report
脳波と眼球運動を用いた音声生成と知覚の神経メカニズムに関する研究
| Project/Area Number |
20K11883
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
党 建武 北陸先端科学技術大学院大学, 先端科学技術研究科, 名誉教授 (80334796)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 名誉教授 (20242571)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 音声生成 / 音声理解 / 脳ネットワーク / 脳活動の動的特性 / 音声生成の神経学的モデル |
|---|
| Outline of Annual Research Achievements |
本研究では、文を朗読するには視覚、調音及び聴覚プロセスの高度に柔軟な調整が必要であることを着眼して、脳ネットワークでどのようにエンコードまたはデコードを行うかを明らかにすることを目標とした。 そのため、リアルタイムのEEG、眼球運動、および音声記録を、脳画像の結果からの空間的に正確なネットワーク トポロジと組み合わせることにより、マルチモーダル ソリューションを探った。階層的な皮質レベルでの根底にある神経的関連性を明らかにするために、独立成分（IC）に事象関連のスペクトル摂動分析、ICクラスターに効果的な接続分析、機能特定サブネットワークの類似性分析を順次適用した。 その結果、前頭前野、前頭葉、および下前頭葉を含むいくつかの高次認知および言語野におけるトップダウンのソースを特定した。 これらの高度な認知および言語ネットワークは、早期の活性化と下位の視覚運動システムとの頻繁な相互作用で検出され、文構造の知識によって調整された並行および反復的な相互作用プロセスを示唆した。 それに従って、我々は音声生成と音声理解の神経モデルを構築した。
人間の感情認識のため高密度EEG 信号に基づいた時空間特徴融合畳み込みグラフ注意ネットワーク (STFCGAT) モデルを構築した。 まず、単一チャネルの差分エントロピー (DE) 機能とクロスチャネル機能接続 (FC) 機能を組み合わせて、EEG の時間的変動と空間トポロジー情報の両方を着眼して、DE と FC の機能を融合し、感情表現力の高いグラフ構造情報をさらに抽出した。 さらに、グラフニューラルネットワークに多頭注意メカニズムを導入して、モデルの一般化能力を向上させた。 その結果、提案したSTFCGAT アーキテクチャの感情認識への有効性を実証した。
また、EEG信号を用いて異なる韻律をもつ同じ文章の意図を識別する方法を研究した
|
