Brain Information Modeling for Active Communication through Language and Music

• Project Area: Studies of Language Evolution for Co-creative Human Communication
• Project/Area Number: 20H05023
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Teikyo University (2022-2023); National Institute of Information and Communications Technology (2020)
• Principal Investigator: 中井 智也 帝京大学, 先端総合研究機構, 客員研究員 (60781250)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2021: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2020: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
• Keywords: MRI / 言語 / 音楽 / 機械学習 / コミュニケーション / fMRI / 脳 / 計算モデル

Outline of Research at the Start

本研究は言語と音楽を媒介としたコミュニケーションに共通する神経基盤を、以下の３段階を経て明らかにする：
（１）MRI装置外の会話担当者との自由会話を行わせ、その際の脳活動を MRI装置で測定する。会話内容から特徴量を抽出し、脳活動との関係を説明する符号化モデルを多変量線形回帰により構築する。
（２）MRI装置内でピアノを用いて音楽生成を行わせ、その際の脳活動を測定する。演奏内容から特徴量を抽出し、符号化モデルを構築する。
（３）音楽生成実験により構築したモデルを言語生成実験における脳活動の予測に利用し、また言語生成実験により構築したモデルを音楽生成実験における脳活動の予測に利用する。

Outline of Annual Research Achievements

本研究課題の目的は、ヒトが言語と音楽を介してコミュニケーションを行う能力に関して、認知神経科学の視点からその脳神経基盤を明らかにすることである。
その目的のため、令和5年度に、申請者はすでに取得済みの心理実験データおよび脳機能データを元に以下の解析を実施し、論文として公開した：
聴覚刺激に関する情動判断が言語によって変化する効果を検証するため、フランスのIRCAM研究所のJean-Julien Aucouturier博士らとともに国際共同研究を実施した。聴覚刺激に人工的に情動情報を加えた刺激を作成し、日本人およびフランス人被験者に判断させた。その結果、母語に加えられた情動情報の方がより正確に判断できることが明らかになった。この結果はPLOS ONE誌に発表された（Nakai et al., PLOS ONE 2023）。
理論言語学の専門家である松本大貴博士と共同研究を実施し、言語理論における統語解析が他の記号システムである数学に対して応用できることを示した。この結果はCognitive Psychology誌に発表された（Matsumoto & Nakai, Cognitive Psychology 2023）。本研究は新学術領域研究「共創言語進化」を通じて生まれた異分野融合研究という特色がある。
さらに、フランスのリヨン神経科学研究センターのJerome Prado博士との国際共同研究により、最新の機械学習技術を利用して言語能力等の個人差や学習の効果を予測する研究に関する総説論文を執筆し、PsyArXivに公開した（Nakai & Prado, PsyArXiv 2023）。この研究は現在国際誌において査読中である。

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Int'l Joint Research] Lyon Neuroscience Research Center(フランス)
• [Int'l Joint Research] IRCAM(フランス)
• [Journal Article] Cortical representational geometry of diverse tasks reveals subject-specific and subjectinvariant cognitive structures (2024)
  • Author(s): Tomoya Nakai, Rieko Kubo, Shinji Nishimoto
  • Journal Title: bioRxiv Volume: -
  • DOI: 10.1101/2024.01.26.577334
  • Open Access / Int'l Joint Research
• [Journal Article] From brain to education through machine learning: Predicting literacy and numeracy skills from neuroimaging data (2023)
  • Author(s): Tomoya Nakai, Jerome Prado
  • Journal Title: PsyArXiv Volume: -
  • DOI: 10.31234/osf.io/fwyza
  • Open Access / Int'l Joint Research
• [Journal Article] Syntactic theory of mathematical expressions (2023)
  • Author(s): Daiki Matsumoto, Tomoya Nakai 146
  • Journal Title: Cognitive Psychology Volume: 146 Pages: 101606-101606
  • DOI: 10.1016/j.cogpsych.2023.101606
  • Peer Reviewed / Open Access
• [Journal Article] Algorithmic voice transformations reveal the phonological basis of language-familiarity effects in cross-cultural emotion judgments (2023)
  • Author(s): Nakai Tomoya、Rachman Laura、Arias Sarah Pablo、Okanoya Kazuo、Aucouturier Jean-Julien
  • Journal Title: PLOS ONE Volume: 18 Issue: 5 Pages: e0285028-e0285028
  • DOI: 10.1371/journal.pone.0285028
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Quantitative modelling demonstrates format‐invariant representations of mathematical problems in the brain (2023)
  • Author(s): Nakai Tomoya、Nishimoto Shinji
  • Journal Title: European Journal of Neuroscience Volume: 57 Issue: 6 Pages: 1003-1017
  • DOI: 10.1111/ejn.15925
  • Peer Reviewed / Open Access
• [Journal Article] Artificial neural network modelling of the neural population code underlying mathematical operations (2023)
  • Author(s): Nakai Tomoya、Nishimoto Shinji
  • Journal Title: NeuroImage Volume: 270 Pages: 119980-119980
  • DOI: 10.1016/j.neuroimage.2023.119980
  • Peer Reviewed / Open Access
• [Journal Article] Brain networks are decoupled from external stimuli during internal cognition (2022)
  • Author(s): Cohen Dror、Nakai Tomoya、Nishimoto Shinji
  • Journal Title: NeuroImage Volume: 256 Pages: 119230-119230
  • DOI: 10.1016/j.neuroimage.2022.119230
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Representations and decodability of diverse cognitive functions are preserved across the human cortex, cerebellum, and subcortex (2022)
  • Author(s): Nakai Tomoya、Nishimoto Shinji
  • Journal Title: Communications Biology Volume: 5 Issue: 1 Pages: 1245-1245
  • DOI: 10.1038/s42003-022-04221-y
  • Peer Reviewed / Open Access
• [Journal Article] Correspondence of categorical and feature‐based representations of music in the human brain (2020)
  • Author(s): Tomoya Nakai , Naoko Koide‐Majima , Shinji Nishimoto
  • Journal Title: Brain and Behavior Volume: e01936 Issue: 1 Pages: 1-14
  • DOI: 10.1002/brb3.1936
  • Peer Reviewed / Open Access
• [Journal Article] Distinct dimensions of emotion in the human brain and their representation on the cortical surface (2020)
  • Author(s): Naoko Koide-Majima, Tomoya Nakai, Shinji Nishimoto
  • Journal Title: NeuroImage Volume: 222 Pages: 117258-117258
  • DOI: 10.1016/j.neuroimage.2020.117258
  • Peer Reviewed / Open Access
• [Journal Article] Convergence of modality invariance and attention selectivity in the cortical semantic circuit (2020)
  • Author(s): Tomoya Nakai, Hiroto Q. Yamaguchi, Shinji Nishimoto
  • Journal Title: bioRxiv Volume: 160960 Pages: 1-42
  • DOI: 10.1101/2020.06.19.160960
  • Open Access
• [Journal Article] Brain networks are decoupled from external stimuli during internal cognition (2020)
  • Author(s): Dror Cohen, Tomoya Nakai, Shinji Nishimoto
  • Journal Title: bioRxiv Volume: 427211 Pages: 1-38
  • DOI: 10.1101/2021.01.18.427211
• [Presentation] 記号接地から記号分離へ―数学学習による記号と地の変化― (2023)
  • Author(s): 中井智也
  • Organizer: コミュニケーション＆人間とは何か？セミナーシリーズ 第７回セミナー
  • Invited
• [Presentation] Computational approach to brain mechanisms of mathematical cognition (2023)
  • Author(s): Tomoya Nakai
  • Organizer: LaPsyDE; Scientific Focus
  • Int'l Joint Research / Invited
• [Presentation] Subject-invariant structures of multitask representations in the association cortices (2023)
  • Author(s): Tomoya Nakai, Rieko Kubo, Shinji Nishimoto
  • Organizer: 第7回ヒト脳イメージング研究会
• [Presentation] Exploring the neural population code of mathematical thought: insights from distributed representations in artificial neural networks (2023)
  • Author(s): Tomoya Nakai, Shinji Nishimoto
  • Organizer: 第33回日本神経回路学会全国大会
• [Presentation] Visualization of over 100 tasks in the human cognitive space (2020)
  • Author(s): Tomoya Nakai, Shinji Nishimoto
  • Organizer: The 12th FENS Forum of Neuroscience
  • Int'l Joint Research
• [Presentation] エンコーディングモデルによる多様な認知機能の脳内表現の可視化 (2020)
  • Author(s): 中井智也
  • Organizer: 東海大学Onlineシンポジウム「様々な認知機能間・感情間・概念間の関係構造を神経科学的手法に基づいて明らかにする」
  • Invited
• [Presentation] 複合的言語情報に関する脳内表現の定量的モデル化 (2020)
  • Author(s): 中井智也
  • Organizer: 第7回共創言語進化セミナー
  • Invited
• [Book] 言語進化学の未来を共創する（第４・６章担当） (2022)
  • Author(s): 岡ノ谷一夫、藤田耕司（編著）
  • Total Pages: 326
  • Publisher: ひつじ書房
  • ISBN: 4823411617