心的イメージの脳情報表現の可視化

2021 年度 実績報告書

• 研究課題/領域番号: 20H05705
• 研究機関: 京都大学
• 研究代表者: 神谷 之康 京都大学, 情報学研究科, 教授 (50418513)
• 研究分担者: 塚本 光昭 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究技術員 (00514481) ; 阿部 修士 京都大学, こころの未来研究センター, 准教授 (90507922) ; 柳澤 琢史 大阪大学, 高等共創研究院, 教授 (90533802)
• 研究期間 (年度): 2020-08-31 – 2025-03-31
• キーワード: 認知科学 / 神経科学 / イメージ

研究実績の概要

本研究課題では、脳デコーディング技術を拡張するによって、心的イメージを客観的に可視化することを目指している。これまでの研究で、ヒトの脳活動パターンを、同じイメージ内容に対応する階層的DNN特徴量に変換（デコード）することが可能になった。また、画像を知覚しているときと想起しているときで共通の脳活動パターンが見られることも確認している。これらの知見にもとづき、画像知覚時の脳活動データで訓練したデコーダを用いて、主観的なイメージを経験しているときの脳活動を、階層的DNN特徴量に変換（デコード）する。さらに、デコードされたDNN特徴量にもとづいて画素値を最適化することで、再構成画像を得る技術を開発している。これらの手法を用いて、2つの画像を重ね合わせ、そのうちの1つを注視しているときのfMRI活動から画像を生成したところ、再構成画像は、注意を向けた画像により類似していることが示された。また、表現される画像情報を保持しながら脳活動パターンを被験者間で変換する「脳コード変換器」を構築し、再構成モデルが異なる被験者間で汎化することを示した。さらに、ヒト視覚野の階層的領域とDNN階層の対応度の指標としてBrain hierarchy (BH) scoreを提案した。広く用いられている29の事前学習済みDNNのBHスコアは、画像認識性能と負の相関があり、最近開発された高性能DNNは必ずしも「脳的」でないことがわかった。脳に類似した表現を獲得するためのアーキテクチャが示唆され、心的イメージ可視化に適したDNNモデルを構築するための指針が得られた。夢見の研究のために計測したデータから、睡眠から覚醒する際、皮質と皮質下の一連の脳活動を含む2段階プロセスが進行することを見出した。また、本研究課題で開発した解析手法を、ECoG計測や異なる生物種に適用した成果を発表した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

コロナ感染防止のため一般の被験者を用いた実験は行っていないが、研究室メンバーを被験者として実験および予備実験をすすめることができた。

今後の研究の推進方策

概ね当初の計画通り研究は進んでいる。 大規模データによる事前学習済みDNNモデルを脳情報表現に適応させる研究とMEG装置を用いて高時間解像度の脳活動データを取得する研究を加速させる。

研究成果

• [雑誌論文] Attention modulates neural representation to render reconstructions according to subjective appearance (2022)
  • 著者名/発表者名: Horikawa Tomoyasu、Kamitani Yukiyasu
  • 雑誌名: Communications Biology 巻: 5 ページ: 34～34
  • DOI: 10.1038/s42003-021-02975-5
  • 査読あり / オープンアクセス
• [雑誌論文] Voluntary control of semantic neural representations by imagery with conflicting visual stimulation (2022)
  • 著者名/発表者名: Fukuma Ryohei、Yanagisawa Takufumi、Nishimoto Shinji、Sugano Hidenori、Tamura Kentaro、Yamamoto Shota、Iimura Yasushi、Fujita Yuya、Oshino Satoru、Tani Naoki、Koide?Majima Naoko、Kamitani Yukiyasu、Kishima Haruhiko
  • 雑誌名: Communications Biology 巻: 5 ページ: 214
  • DOI: 10.1038/s42003-022-03137-x
  • 査読あり / オープンアクセス
• [雑誌論文] Decoding Oscillatory Representations of Memory-Recalled Color in Macaque Prefrontal Cortex (2022)
  • 著者名/発表者名: Tanigawa, H., Majima, K., Takei, R., Kawasaki, K., Sawahata, H., Nakahara, K., Iijima, A., Suzuki, T., Kamitani, Y. & *Hasegawa, I.
  • 雑誌名: Cell Reports 巻: - ページ: -
  • 査読あり / オープンアクセス
• [雑誌論文] Inter-individual deep image reconstruction (2022)
  • 著者名/発表者名: Ho Jun Kai、Horikawa Tomoyasu、Majima Kei、Kamitani Yukiyasu
  • 雑誌名: bioRxiv 巻: - ページ: 56
  • DOI: 10.1101/2021.12.31.474501
  • オープンアクセス
• [雑誌論文] ヒト脳機能研究におけるfMRIの役割 (2021)
  • 著者名/発表者名: 阿部 修士
  • 雑誌名: Journal of the Society of Biomechanisms 巻: 45 ページ: 21～29
  • DOI: 10.3951/sobim.45.1_21
  • 査読あり
• [雑誌論文] Data-driven electrophysiological feature based on deep learning to detect epileptic seizures (2021)
  • 著者名/発表者名: Yamamoto Shota、Yanagisawa Takufumi、Fukuma Ryohei、Oshino Satoru、Tani Naoki、Khoo Hui Ming、Edakawa Kohtaroh、Kobayashi Maki、Tanaka Masataka、Fujita Yuya、Kishima Haruhiko
  • 雑誌名: Journal of Neural Engineering 巻: 18 ページ: 056040～056040
  • DOI: 10.1088/1741-2552/ac23bf
  • 査読あり / オープンアクセス
• [雑誌論文] Brain hierarchy score: Which deep neural networks are hierarchically brain-like? (2021)
  • 著者名/発表者名: Nonaka Soma、Majima Kei、Aoki Shuntaro C.、Kamitani Yukiyasu
  • 雑誌名: iScience 巻: 24 ページ: 103013～103013
  • DOI: 10.1016/j.isci.2021.103013
  • 査読あり / オープンアクセス
• [雑誌論文] Natural and Artificial Intelligence: A brief introduction to the interplay between AI and neuroscience research (2021)
  • 著者名/発表者名: Macpherson Tom、Churchland Anne、Sejnowski Terry、DiCarlo James、Kamitani Yukiyasu、Takahashi Hidehiko、Hikida Takatoshi
  • 雑誌名: Neural Networks 巻: 144 ページ: 603～613
  • DOI: 10.1016/j.neunet.2021.09.018
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] fMRI lag structure during waking up from early sleep stages (2021)
  • 著者名/発表者名: Alcaide Santiago、Sitt Jacobo、Horikawa Tomoyasu、Romano Alvaro、Maldonado Ana Carolina、Ibanez Agust?n、Sigman Mariano、Kamitani Yukiyasu、Barttfeld Pablo
  • 雑誌名: Cortex 巻: 142 ページ: 94～103
  • DOI: 10.1016/j.cortex.2021.06.005
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] How emotion is experienced and expressed in multiple cultures: a large-scale experiment (2021)
  • 著者名/発表者名: Cowen Alan S.、Prasad Gautam、Tanaka Misato、Kamitani Yukiyasu、Kirilyuk Vladimir、Somandepalli Krishna、Jou Brendan、Schroff Florian、Hartwig Adam、Brooks Jeffrey A、Keltner Dacher
  • 雑誌名: PsyArXiv 巻: - ページ: -
  • DOI: 10.31234/osf.io/gbqtc
  • 国際共著
• [学会発表] Communication BCI using visual system (2022)
  • 著者名/発表者名: Yanagisawa, T.
  • 学会等名: SISReC International Symposium Osaka-Monash University
  • 国際学会 / 招待講演
• [学会発表] High-performance DNNs are not brain-like (2021)
  • 著者名/発表者名: Kamitani Y.
  • 学会等名: NeurIPS
  • 国際学会 / 招待講演
• [学会発表] Externalizing and sharing the neuroverse (2021)
  • 著者名/発表者名: Kamitani, Y.
  • 学会等名: Neuromatch
  • 国際学会 / 招待講演
• [学会発表] Inter-individual deep image reconstruction (2021)
  • 著者名/発表者名: Ho, J.K. & Kamitani, Y.
  • 学会等名: Neuromatch
  • 国際学会
• [学会発表] 皮質脳波ビッグデータとAIによるBrain-Computer Interfaceの開発 (2021)
  • 著者名/発表者名: 栁澤琢史、福間良平、西本伸志、菅野秀宣、田村健太郎、飯村康司、山本祥太、押野悟、谷直樹、神谷之康、貴島晴彦
  • 学会等名: 日本臨床脳神経外科学会
• [学会発表] 脳AI融合の臨床応用に向けた取り組み (2021)
  • 著者名/発表者名: 栁澤琢史
  • 学会等名: 第8回BMI研究会
  • 招待講演
• [学会発表] 皮質脳波ビッグデータとAIの医療応用 (2021)
  • 著者名/発表者名: 栁澤琢史
  • 学会等名: 関東機能的脳神経外科カンファレンス
  • 招待講演
• [備考] Squid. Squid, Bright Green Field
  • URL: https://brightgreenfield.squidband.uk
• [備考] ライゾマティクス_マルティプレックス
  • URL: https://www.mot-art-museum.jp/exhibitions/rhizomatiks/
• [備考] Huyghe, P. Of Ideal
  • URL: http://vip-hauserwirth.com/online-exhibitions/pierre-huyghe-of-ideal/