An unified framework for audio-visual integration and semantic memory: Neural-computational modelling

2023 Fiscal Year Final Research Report

• Project/Area Number: 20H04494
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 90030:Cognitive science-related
• Research Institution: Tokyo Woman's Christian University
• Principal Investigator: Taiji Ueno 東京女子大学, 現代教養学部, 教授 (20748967)
• Co-Investigator(Kenkyū-buntansha): 田中 章浩 東京女子大学, 現代教養学部, 教授 (80396530) ; 石橋 遼 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 研究員 (90750266)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 視聴覚統合 / 意味記憶 / マガーク効果 / fMRI / 経頭蓋磁気刺激法 / 経頭蓋直流電気刺激法

Outline of Final Research Achievements

This study aimed to propose a cognitive neurobiological model that accounts for both audio-visual integration and semantic memory by investigating the common brain regions supporting these functions. A multi-method approach, including fMRI, TMS, and tDCS, revealed the necessity of reassessing the role of the left posterior superior temporal sulcus, which has been considered a consensus in the field of auditory-visual integration. Moreover, the representational searchlight analysis revealed the role of the motor cortex in audio-visual integration. Indeed, past studies have already suggested this region, and interpreted in terms of the motor theory of speech perception. However, due to their use of the conventional fMRI analysis (i.e., subtraction method), there was still a dispute regarding the validity of the motor theory. In contrast, our demonstration by the representational searchlight analysis provided stronger evidence for the motor theory.

Free Research Field

認知神経心理学

Academic Significance and Societal Importance of the Research Achievements

本研究は、これまでコンセンサスとされてきた「視聴覚統合における左脳後部上側頭溝の役割」を支持しない結果を一貫して提示したのみならず、先行研究のデータの再分析に基づいて、これまでの知見が間違っている可能性を示したことに学術的な意義がある。また、差分法fMRI分析の結果を根拠とした「音声知覚の運動理論」についてはこれまで批判があったが、その批判に当てはまらない結果を新しく表象類似性サーチライト分析で示したところに本研究の学術的意義がある。音声知覚の運動理論は、母語・第二言語学習にあたって、聴き取り訓練のために発話訓練をすることが効果的である、などの実践的意義を持つことが期待される。