研究課題
本研究課題では、脳デコーディング技術を拡張するによって、心的イメージを客観的に可視化することを目指している。これまでの研究で、ヒトの脳活動パターンを、同じイメージ内容に対応する階層的DNN特徴量に変換(デコード)することが可能になった。また、画像を知覚しているときと想起しているときで共通の脳活動パターンが見られることも確認している。これらの知見にもとづき、画像知覚時の脳活動データで訓練したデコーダを用いて、主観的なイメージを経験しているときの脳活動を、階層的DNN特徴量に変換(デコード)する。さらに、デコードされたDNN特徴量にもとづいて画素値を最適化することで、再構成画像を得る技術を開発している。これらの手法を用いて、2つの画像を重ね合わせ、そのうちの1つを注視しているときのfMRI活動から画像を生成したところ、再構成画像は、注意を向けた画像により類似していることが示された。また、表現される画像情報を保持しながら脳活動パターンを被験者間で変換する「脳コード変換器」を構築し、再構成モデルが異なる被験者間で汎化することを示した。さらに、ヒト視覚野の階層的領域とDNN階層の対応度の指標としてBrain hierarchy (BH) scoreを提案した。広く用いられている29の事前学習済みDNNのBHスコアは、画像認識性能と負の相関があり、最近開発された高性能DNNは必ずしも「脳的」でないことがわかった。脳に類似した表現を獲得するためのアーキテクチャが示唆され、心的イメージ可視化に適したDNNモデルを構築するための指針が得られた。夢見の研究のために計測したデータから、睡眠から覚醒する際、皮質と皮質下の一連の脳活動を含む2段階プロセスが進行することを見出した。また、本研究課題で開発した解析手法を、ECoG計測や異なる生物種に適用した成果を発表した。
2: おおむね順調に進展している
コロナ感染防止のため一般の被験者を用いた実験は行っていないが、研究室メンバーを被験者として実験および予備実験をすすめることができた。
概ね当初の計画通り研究は進んでいる。 大規模データによる事前学習済みDNNモデルを脳情報表現に適応させる研究とMEG装置を用いて高時間解像度の脳活動データを取得する研究を加速させる。
すべて 2022 2021 その他
すべて 雑誌論文 (10件) (うち国際共著 3件、 査読あり 8件、 オープンアクセス 8件) 学会発表 (7件) (うち国際学会 4件、 招待講演 5件) 備考 (3件)
Communications Biology
巻: 5 ページ: 34~34
10.1038/s42003-021-02975-5
巻: 5 ページ: 214
10.1038/s42003-022-03137-x
Cell Reports
巻: - ページ: -
bioRxiv
巻: - ページ: 56
10.1101/2021.12.31.474501
Journal of the Society of Biomechanisms
巻: 45 ページ: 21~29
10.3951/sobim.45.1_21
Journal of Neural Engineering
巻: 18 ページ: 056040~056040
10.1088/1741-2552/ac23bf
iScience
巻: 24 ページ: 103013~103013
10.1016/j.isci.2021.103013
Neural Networks
巻: 144 ページ: 603~613
10.1016/j.neunet.2021.09.018
Cortex
巻: 142 ページ: 94~103
10.1016/j.cortex.2021.06.005
PsyArXiv
10.31234/osf.io/gbqtc
https://brightgreenfield.squidband.uk
https://www.mot-art-museum.jp/exhibitions/rhizomatiks/
http://vip-hauserwirth.com/online-exhibitions/pierre-huyghe-of-ideal/