• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

言語と音楽を介した能動的コミュニケーションの脳情報モデル構築

公募研究

研究領域共創的コミュニケーションのための言語進化学
研究課題/領域番号 20H05023
研究機関国立研究開発法人情報通信研究機構

研究代表者

中井 智也  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 研究員 (60781250)

研究期間 (年度) 2020-04-01 – 2021-03-31
キーワードMRI / 言語 / 音楽 / 機械学習
研究実績の概要

本研究課題の目的は、ヒトが言語と音楽を介してコミュニケーションを行う能力に関して、認知神経科学の視点からその脳神経基盤を明らかにすることである。その目的のため、令和2年度申請者は言語実験と音楽実験の解析を実施した。
言語に関して、6名の被験者に対し文章刺激を読み/聞き条件で与えた際の脳活動に加え、追加実験としてテキストと音声を同時に呈示した条件で脳活動を測定した。得られた脳活動データに対し、文章刺激から抽出した意味特徴量および音韻特徴量を組み合わせたBanded-Ridge回帰を実施した。さらにVariance Partitionining解析を実施することにより、複数種類の特徴量により予測精度への影響を分離することに成功した。結果として、刺激モダリティに不変的な意味回路と、注意選択的な意味回路が脳において重複することを明らかにした。その内容をまとめた論文をbioRxivにプレプリントとして公開し、さらに学術誌に投稿し、現在査読中である(Nakai et al., bioRxiv 2020)。
音楽に関して、5名の被験者に540曲の楽曲を聴かせた際の脳活動データを解析した。聴覚応答に関するModulation Transfer Functionモデルを実装し、上側頭回の音楽ジャンル特異的な脳活動パターンを説明することに成功した。また、Brain-Feature Similarity Analysisという解析手法を導入し、脳におけるカテゴリー選択的応答を音響特徴量のカテゴリー間類似度で説明することに成功した。この成果をBrain and Behavior誌において発表した(Nakai et al., Brain and Behavior 2020)。
本年度はさらに言語と音楽の解析に共通した脳機能デコーディング技術に関する知見をまとめ、脳神経外科誌に総説として発表した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

理由
申請者は言語を介したコミュニケーションの定量的モデル構築のため、当初予定していた意味特徴量、音韻特徴量に加え、低次視覚特徴量としてMotion Energyモデル(Nishimoto et al., Current Biology 2011)、さらに低次聴覚特徴量としてModulation Transfer Functionモデルを利用し、低次感覚情報の影響を除外する追加解析を実施した。本解析により、音韻特徴量における見かけ上のモダリティ不変性や注意選択性が低次感覚特徴量によってもたらされている可能性が示唆され、結果としてモダリティ不変性と注意選択性が意味特徴量特異的な性質であることがより強く支持されることとなった。この結果は計画当初は予想されなかったものである。
本年度はさらにDror Cohen博士と共同研究として、脳の機能的結合の新たな解析手法としてExternal Stimulus Connectivityの指標を提案し、その指標を利用した外発的刺激と内発的認知の脳活動における影響を定量的に分析した結果をbioRxiv誌に発表した(Dror, Nakai, Nishimoto, bioRxiv 2020)。また、小出直子博士との共同研究として、脳における感情情報表現の分布を可視化することに成功し、NeuroImage誌に発表した(Koide-Majima, Nakai, Nishimoto, NeuroImage 2020)。これらの結果は本研究計画で用いる解析手法を応用した共同研究である。
以上により、本年度は当初計画していた以上の成果を出すことができたと考えられる。

今後の研究の推進方策

申請者は日本学術振興会海外特別研究員に採用されたため、令和3年4月よりフランスに留学する予定である。したがって本研究課題は「海外における研究滞在等による科研費の研究中断」制度により帰国までの期間一時中断する。中断期間は2年間を予定している。留学先で申請者は小学校低学年児童を対象とした脳機能の発達研究を実施する。帰国後は、留学先において学んだ低年齢被験者の脳機能解析技術を本研究計画に応用することによって、本研究課題の適用範囲を、当初予定していた成人からより幅広い年齢層の発達研究へと拡大することが可能である。
現在投稿中である、脳の意味処理回路におけるモダリティ不変性と注意選択性の重複に関する論文に関しては(Nakai et al., bioRxiv 2020)、留学中も引き続き査読修正対応を進め、論文受理を目指す予定である。
研究再開後は、当初の予定通り、能動的会話中の脳活動を計測する実験(言語生成実験)、および音楽演奏中の脳活動を計測する実験(音楽生成実験)を実施する。言語生成実験の解析に関しては、本年度のbioRxiv誌で発表した研究において実施した、意味特徴量、音韻特徴量、および低次感覚特徴量を用いた定量的モデル構築を同様の手順で実施する。音楽生成実験に関しては、本年度Brain and Behavior誌で発表した研究において実施した、Modulation Transfer Functionモデルを用いた解析を実施する。さらに申請者は、Dror et al. (bioRxiv 2020)において提案した手法を言語と音楽の脳神経基盤に対して適用することで、本手法の応用可能性を検討することを目指している。

  • 研究成果

    (7件)

すべて 2020

すべて 雑誌論文 (4件) (うち査読あり 2件、 オープンアクセス 3件) 学会発表 (3件) (うち国際学会 1件、 招待講演 2件)

  • [雑誌論文] Correspondence of categorical and feature‐based representations of music in the human brain2020

    • 著者名/発表者名
      Tomoya Nakai , Naoko Koide‐Majima , Shinji Nishimoto
    • 雑誌名

      Brain and Behavior

      巻: e01936 ページ: 1-14

    • DOI

      https://doi.org/10.1002/brb3.1936

    • 査読あり / オープンアクセス
  • [雑誌論文] Distinct dimensions of emotion in the human brain and their representation on the cortical surface2020

    • 著者名/発表者名
      Naoko Koide-Majima, Tomoya Nakai, Shinji Nishimoto
    • 雑誌名

      NeuroImage

      巻: 222 ページ: 117258

    • DOI

      https://doi.org/10.1016/j.neuroimage.2020.117258

    • 査読あり / オープンアクセス
  • [雑誌論文] Convergence of modality invariance and attention selectivity in the cortical semantic circuit2020

    • 著者名/発表者名
      Tomoya Nakai, Hiroto Q. Yamaguchi, Shinji Nishimoto
    • 雑誌名

      bioRxiv

      巻: 160960 ページ: 1-42

    • DOI

      https://doi.org/10.1101/2020.06.19.160960

    • オープンアクセス
  • [雑誌論文] Brain networks are decoupled from external stimuli during internal cognition2020

    • 著者名/発表者名
      Dror Cohen, Tomoya Nakai, Shinji Nishimoto
    • 雑誌名

      bioRxiv

      巻: 427211 ページ: 1-38

    • DOI

      https://doi.org/10.1101/2021.01.18.427211

  • [学会発表] Visualization of over 100 tasks in the human cognitive space2020

    • 著者名/発表者名
      Tomoya Nakai, Shinji Nishimoto
    • 学会等名
      The 12th FENS Forum of Neuroscience
    • 国際学会
  • [学会発表] エンコーディングモデルによる多様な認知機能の脳内表現の可視化2020

    • 著者名/発表者名
      中井智也
    • 学会等名
      東海大学Onlineシンポジウム「様々な認知機能間・感情間・概念間の関係構造を神経科学的手法に基づいて明らかにする」
    • 招待講演
  • [学会発表] 複合的言語情報に関する脳内表現の定量的モデル化2020

    • 著者名/発表者名
      中井智也
    • 学会等名
      第7回共創言語進化セミナー
    • 招待講演

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi