脳内情報解読に基づく多領野連関解明への挑戦

2020 Fiscal Year Annual Research Report

• Project Area: Brain information dynamics underlying multi-area interconnectivity and parallel processing
• Project/Area Number: 20H05054
• Research Institution: Ochanomizu University
• Principal Investigator: 小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
• Project Period (FY): 2020-04-01 – 2022-03-31
• Keywords: 脳内情報解読 / fMRIデータ / 音声認識深層学習モデル / 画像認識深層学習モデル / 脳内状態推定

Outline of Annual Research Achievements

音声刺激および画像刺激のそれぞれを扱うための深層学習モデルを複数構築し、それらのモデルを利用して、音声と画像情報からfMRIで観測した脳活動データへの回帰を行なった。
音声刺激に対しては、深層学習モデルの中間層に現れた情報または、音声の特徴量をそのまま脳活動データへ回帰を行うモデルをリッジ回帰を使って構築し、相関係数を用いて評価を行なった。大脳皮質全体では相関性はとても低いものであったが、特定部位（ROI）に言及すると有意な相関性をみることができた。また、視覚情報に関しては画像識別能力の異なる複数のモデル（ResNet50やVGG16、ResNet50によるオートエンコーダなど）を用いて、それぞれのモデルごとに脳活動データに回帰を行なった。それぞれのモデルを使用した際に相関係数の差が出るのかなどについての調査を行い、それぞれのモデルにおいて有意な結果を得ることができたが、その中でも画像識別能力が高いResNet50が良い精度となった。ResNet50によるオートエンコーダは、視覚刺激として与えた画像を使ったファインチューニングを施したが、ファインチューニング用の画像の数が少なかったため、通常のResNet50を用いたほうが精度が良い結果となった。他には、脳のどの部位において高い相関性が得られているのかについて容易に確認できるように可視化ツールを用いて視覚的に脳内各部の相関性を捉えることができるようにした。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

音声刺激および画像刺激のそれぞれを扱うための深層学習モデルを複数構築し、それらのモデルを利用して、音声と画像情報からfMRIで観測した脳活動データへの回帰を行ない、モデルごとの相関性を評価することができた。これにより、次年度の作業として、相関性が高いモデルを採用し、そのモデルをさらに様々な設定の下、実験をすることができる準備ができた。また、相関係数を算出する際に可視化をうまく使った方が作業が楽になるが、そのための準備も進めることができている。

Strategy for Future Research Activity

相関性が高いモデルを採用し、そのモデルをさらに様々な設定の下、実験を行う。音声刺激においては、音の刺激だけはなく、言語を扱う情報として、汎用言語モデルBERTを使い発話内容の意味を捉えてその情報を脳活動データへ回帰することを試みることによって、意味の処理が脳内でどのように進められるかについて調査を行うつもりである。また、視覚情報においては、画像識別を行う途中のネットワーク（中間層）においてどのような状態になりながら処理が進められているのかについて調査するために、Network dissectionという分析手法を導入して各中間層における画像の処理過程と脳内状態の対応関係を調査する予定である。