ヒト脳における感情の神経基盤の解明

2021 Fiscal Year Annual Research Report

• Project/Area Number: 21H03536
• Allocation Type: Single-year Grants
• Research Institution: NTT Communication Science Laboratories
• Principal Investigator: 堀川 友慈 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主任研究員 (60721876)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Keywords: 感情 / 脳情報デコーディング / 深層ニューラルネットワーク / fMRI

Outline of Annual Research Achievements

本研究は，ヒトの脳における多様な感情の神経基盤を調べることを目的に，画像や動画，音声など，さまざまなモダリティの刺激条件下における脳活動を機能的磁気共鳴画像法(fMRI)により計測し，脳活動に表現される感情関連の情報を脳情報デコーディングなどの多変量解析によって定量化することを試みるものである．初年度には，実験で使用する刺激素材の選定を行うとともに，複数のモダリティの刺激提示時の脳活動計測と，感情情報のデコーディング解析によって，脳活動から感情情報を解読可能かどうかを検討した．また，データの解析結果を元に，より高い精度で感情情報の解読ができる実験デザインや解析方法の探索を行なった．具体的には，先行研究（Horikawa et al., 2020; Cowen & Keltner, 2017）で使用された動画刺激に加え，感情カテゴリや情動次元のラベルが付けられた音楽刺激（Cowen et al.,2019）や音声刺激(IADS; Yang et al., 2018)に対する脳活動を計測し，それぞれの脳計測データから感情スコアの解読が可能かを調べた．解析の結果，動画刺激および音声刺激のいずれからも高い精度で感情スコアの解読が可能であることを確認することができた．一方で，高い解読精度を示す脳部位の分布傾向には違いがあり，動画（視覚）刺激に関する感情スコアが脳の広範な部位から解読可能であったのに対して，聴覚刺激に関する感情スコアは解読可能な領域が聴覚野周辺に集中していることがわかった．さらに，聴覚刺激に対する感情スコアの解読では，いくつかの感情スコアに関して，一次聴覚野からの解読精度よりもより高次の聴覚野周辺で高い精度が得られており，低次の聴覚特徴で説明できない比較的高次の特徴と関連する脳情報表現を捉えていることが示唆された．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

研究申請時には，初年度に，動画，顔画像，音楽，発生音など，多様な刺激素材に対する脳計測データを収集し，それぞれのデータ内やデータ間での比較解析を行う予定でいた．しかし，研究開始初年度が開始するのと同じタイミングで所属の変更があり，さらにコロナ禍における実験実施の制約が生じたため，新しい研究環境において，脳活動計測実験の実験環境やfMRIデータの解析のための計算機環境を構築することに想定以上に時間がかかり，計画していたほどには実験・解析の検討を進めることが難しかった．現在は，fMRIを用いた脳計測実験環境も，データ解析のための計算機環境も無事整備が完了したため，次年度以降，初年度の遅れを取り戻せるよう，研究を推進していく．実験を通したデータ収集の進捗が芳しくなかった一方で，fMRIデータの実験設定や解析手法に関しては，計測パラメータや前処理方法の最適化を進めることができ，従来の計測・解析手法と比べて，より高い時間解像度のもと，高い信号対ノイズ比でのデータ解析を実現することが可能になっており，その点に関しては想定以上の進捗があったといえる．

Strategy for Future Research Activity

2年目以降は，初年度の実験の遅れを取り戻すべく，研究計画当初に予定していた他の刺激モダリティに対する脳活動計測やデータ解析を進めていくとともに，深層ニューラルネットワークの技術を活用した感情認識モデルの内部表現と，ヒトの脳活動の感情情報表現の比較を中心に進めていく．特に，顔画像刺激や音声刺激など，コンピュータ科学分野において入力データ（画像や音声波形）からの感情認識の技術が発展している刺激素材を対象に脳のデータを集め，特定の感情カテゴリへ識別される入力刺激や，特定の感情スコアに対して高い尤度を出力する時のモデルの内部表現が，対応する感情体験にあるヒトの脳活動とどのような類似性を示すかを評価していく．また，感情認識モデルのような認識モデルだけでなく，近年，コンピュータビジョンや自然言語処理の分野でさまざまな応用技術に利用されつつある，CLIP (contrastive language-image pretraining)モデルなどを活用し，機械のモデルの上で獲得される感情関連の意味の情報表現を，感情刺激に対する脳活動や行動実験で収集された感情ラベルから推定される感情の情報表現と比較を行う．さらに，自身の先行研究において課題となっていた，一人称的な感情体験と三人称的な感情体験の違いを考慮しつつ，個々人の感情体験の違いを，脳のデータの上でどの程度捉えることが可能かを検討する．