• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実施状況報告書

脳波と眼球運動を用いた音声生成と知覚の神経メカニズムに関する研究

研究課題

研究課題/領域番号 20K11883
研究機関北陸先端科学技術大学院大学

研究代表者

党 建武  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)

研究分担者 赤木 正人  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
研究期間 (年度) 2020-04-01 – 2023-03-31
キーワード音声生成 / 発話計画 / 脳ネットワーク / 脳活動の動的特性
研究実績の概要

本研究では、高時間分解能のEEGを用いて、自然な文の朗読および復唱の課題における脳活動を全時間帯域で計測し、発話または聴取全体の時間経過について脳内ネットワークの機能的結合と実効的結合をモデル化し、連続音声処理の神経学的メカニズムを究明することを目的とする。
我々は眼球運動と発話との行動学的なデータと脳波(EEG)データを同時に収集し、時間・空間・周波数領域の側面から文の朗読における神経学的メカニズムを考察した。文中各単語の注視開始と発話開始までの潜時時間は段階的な減少パターンが統語的構造と一致するので、感覚運動行動に伴う統語的介入を示唆した。また、前頭前野-頭頂葉制御ネットワークと前側頭葉との間トップダウンの神経活動を確認した。脳エリア間のクロス周波数結合と周波数依存の有効結合性の考察により、前頭前野-頭頂ネットワークの支配のもとで二重通路に沿った双方向で発信するメカニズムがわかった。 そのなか、θ波―γ波の結合は腹側通路に沿ってトップダウンの統語調節とボトムアップの視覚入力を平行に調整しているが、α波―β波結合は背側通路に沿って発話の計画と運動を実施している。
語彙処理の脳のメカニズムを究明するため、実単語と疑似単語の徴収時にEEGを用いて脳ネットワークを再構築し、fMRIによるネットワークテンプレートを用いてフィルタリングしたうえ、異なる脳波帯域のネットワークの動的変化を比較した。その結果は、実単語における最初の音節が明確なカテゴリの特徴を持っている場合、音声処理ネットワークを急速に活性化し、速やかに処理を終えることを明らかにした。一方、擬似語に対して、音声処理ネットワークの起動は遅いが、そのネットの活動時間はかなり長くなることがわかった。それは疑似単語の語意がなかなか取得できないことを示唆した。また、γ波の活動は実単語の語意処理とより深い関連があることを示した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

収録した実験データの分析と研究成果の発表について順調に進んでいる。実験データの新規収録はコロナの原因で実施することが困難である。

今後の研究の推進方策

今まで、研究は順調に進展しているが、コロナの原因で、暫くの間EEG信号の収録は困難となる。コロナの感染防止を念頭に置いて、実験データを収録したいと努力するつもりである。当面の方策では、データの新規収録より既存のデータやオーペンリソースを利用する予定である。

次年度使用額が生じた理由

当初計画した実験はコロナの原因で一部実施できなかったため、人件費が若干余ってしまった。令和3年度、その実験を実施することによって、その差額を抹消することになる。

  • 研究成果

    (12件)

すべて 2021 2020

すべて 雑誌論文 (6件) (うち国際共著 6件、 査読あり 6件、 オープンアクセス 6件) 学会発表 (6件) (うち国際学会 6件)

  • [雑誌論文] Multi-resolution modulation-filtered cochleagram feature for LSTM-based dimensional emotion recognition from speech2021

    • 著者名/発表者名
      Zhichao Peng, Jianwu Dang, Masashi Unoki, Masato Akagi
    • 雑誌名

      Neural Networks

      巻: 140 ページ: 261-273

    • DOI

      10.1016/j.neunet.2021.03.027

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Replay attack detection using variable-frequency resolution phase and magnitude features2021

    • 著者名/発表者名
      M Liu, L Wang, J Dang, KA Lee, S Nakagawa
    • 雑誌名

      IEEE Signal Processing Letters

      巻: 28 ページ: 459-463

    • DOI

      10.1016/j.csl.2020.101161

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] An eye-tracking study on audiovisual speech perception strategies adopted by normal-hearing and deaf adults under different language familiarities2021

    • 著者名/発表者名
      Jianrong Wang, Yumeng Zhu, Yu Chen, Abdilbar Mamat, Mei Yu, Ju Zhang, Jianwu Dang
    • 雑誌名

      Journal of Speech, Language, and Hearing Research

      巻: 63 ページ: 2245-2254

    • DOI

      10.1044/2020_JSLHR-19-00223

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Toward Efficient Processing and Learning With Spikes: New Approaches for Multispike Learning2020

    • 著者名/発表者名
      Yu, Q., Li, S., Tang, H., Wang, L., Dang, J., & Tan, K. C.
    • 雑誌名

      IEEE Transactions on Cybernetics

      巻: 51 ページ: 1-13

    • DOI

      10.1109/TCYB.2020.2984888

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Speech Emotion Recognition Using 3D Convolutions and Attention-Based Sliding Recurrent Networks With Auditory Front-Ends2020

    • 著者名/発表者名
      Z. Peng, X. Li, Z. Zhu, M. Unoki, J. Dang and M. Akagi
    • 雑誌名

      IEEE Access

      巻: 8 ページ: 16560-16572

    • DOI

      10.1109/ACCESS.2020.2967791

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Brain network reconstruction of speech production based on electro-encephalography and eye movement2020

    • 著者名/発表者名
      Bin Zhao, Jinfeng Huang, Gaoyan Zhang, Jianwu Dang, Minbo Chen, Yingjian Fu, Longbiao Wang
    • 雑誌名

      Acoust. Sci. & Tech.

      巻: 41 ページ: 349-350

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Frequency-specific Brain Network Dynamics during Perceiving Real Words and Pseudowords2021

    • 著者名/発表者名
      T Guo, J Dang, G Zhang, B Zhao, M Unoki
    • 学会等名
      12th ISCSLP, Hong Kong
    • 国際学会
  • [学会発表] Spoken Language Understanding with Sememe Knowledge as Domain Knowledge2021

    • 著者名/発表者名
      S Li, J Dang, L Wang
    • 学会等名
      12th ISCSLP, Hong Kong
    • 国際学会
  • [学会発表] A Multi-subject Temporal-spatial Hyper-alignment Method for EEG-based Neural Entrainment to Speech2020

    • 著者名/発表者名
      D Zhou, G Zhang, J Dang, S Wu, Z Zhang
    • 学会等名
      2020 APSIPA, New Zealand
    • 国際学会
  • [学会発表] Working Memory-Driven Neural Networks with a Novel Knowledge Enhancement Paradigm for Implicit Discourse Relation Recognition2020

    • 著者名/発表者名
      Guo, F., He, R., Dang, J., & Wang, J.
    • 学会等名
      AAAI
    • 国際学会
  • [学会発表] Temporal-Spatial-Spectral Investigation of Brain Network Dynamics in Human Speech Perception2020

    • 著者名/発表者名
      Zhao, B., Zhang, G., & Dang, J.
    • 学会等名
      International Conference on Brain Informatics
    • 国際学会
  • [学会発表] End-to-End Articulatory Modeling for Dysarthric Articulatory Attribute Detection2020

    • 著者名/発表者名
      Lin, Y., Wang, L., Dang, J., Li, S., & Ding, C.
    • 学会等名
      ICASSP 2020
    • 国際学会

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi