研究課題
本研究では、文を朗読するには視覚、調音及び聴覚プロセスの高度に柔軟な調整が必要であることを着眼して、脳ネットワークでどのようにエンコードまたはデコードを行うかを明らかにすることを目標とした。 そのため、リアルタイムのEEG、眼球運動、および音声記録を、脳画像の結果からの空間的に正確なネットワーク トポロジと組み合わせることにより、マルチモーダル ソリューションを探った。階層的な皮質レベルでの根底にある神経的関連性を明らかにするために、独立成分（IC）に事象関連のスペクトル摂動分析、ICクラスターに効果的な接続分析、機能特定サブネットワークの類似性分析を順次適用した。 その結果、前頭前野、前頭葉、および下前頭葉を含むいくつかの高次認知および言語野におけるトップダウンのソースを特定した。 これらの高度な認知および言語ネットワークは、早期の活性化と下位の視覚運動システムとの頻繁な相互作用で検出され、文構造の知識によって調整された並行および反復的な相互作用プロセスを示唆した。 それに従って、我々は音声生成と音声理解の神経モデルを構築した。人間の感情認識のため高密度EEG 信号に基づいた時空間特徴融合畳み込みグラフ注意ネットワーク (STFCGAT) モデルを構築した。 まず、単一チャネルの差分エントロピー (DE) 機能とクロスチャネル機能接続 (FC) 機能を組み合わせて、EEG の時間的変動と空間トポロジー情報の両方を着眼して、DE と FC の機能を融合し、感情表現力の高いグラフ構造情報をさらに抽出した。 さらに、グラフニューラルネットワークに多頭注意メカニズムを導入して、モデルの一般化能力を向上させた。 その結果、提案したSTFCGAT アーキテクチャの感情認識への有効性を実証した。また、EEG信号を用いて異なる韻律をもつ同じ文章の意図を識別する方法を研究した
すべて 2023 2022 その他
すべて 国際共同研究 (2件) 雑誌論文 (5件) (うち国際共著 5件、 査読あり 5件、 オープンアクセス 5件) 学会発表 (5件) (うち国際学会 4件)
Journal of Neural Engineering
巻: 20 ページ: 016046
Frontiers in Computational Neuroscience
巻: 1 ページ: 1-10
IEICE TRANSACTIONS on Information and Systems
巻: 105 ページ: 1947-1956.
EURASIP Journal on Audio, Speech, and Music Processing
Speech Communication
巻: 143 ページ: 1-9
