心的イメージの脳情報表現の可視化

2020 年度 実績報告書

• 研究課題/領域番号: 20H05705
• 研究機関: 京都大学
• 研究代表者: 神谷 之康 京都大学, 情報学研究科, 教授 (50418513)
• 研究分担者: 塚本 光昭 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究技術員 (00514481) ; 阿部 修士 京都大学, こころの未来研究センター, 准教授 (90507922) ; 柳澤 琢史 大阪大学, 高等共創研究院, 教授 (90533802)
• 研究期間 (年度): 2020-08-31 – 2025-03-31
• キーワード: デコーディング / 錯視 / イメージ / 夢

研究実績の概要

イメージは心の状態を構成する重要な要素である。本研究では、イメージの階層的情報処理に注目し、深層ニューラルネットワークの情報表現を用いた脳情報デコーディングアプローチを拡張することにより、錯視や幻覚を含む多様なイメージが生成される脳情報処理メカニズムを解明することを目指している。２０２０年度は、特徴ベース深層イメージ再構成法、および、end-to-end 深層イメージ再構成法を拡張し、繰り返し計算なしに画像を出力する方法を確立した。生成モデルへの入力信号を、デコーディングに用いる深層ニューラルネットワーク（DNN）モデルと対応付けることで、脳からデコードした特徴パターンから一回の計算で高精度の再構成画像を生成することが可能となった。この方法でｆMRIおよびECoGデータの解析を行い、従来手法とパフォーマンスを比較した。錯視の脳内イメージ可視化に関して、主観的輪郭刺激とネオンカラー錯視図形を見せたときの脳活動から画像を再構成する実験・解析を進めた。刺激画像のDNN特徴からは、錯視効果を反映する画像は生成されなかったにも関わらず、脳からデコードしたDNN特徴を用いると、主観的輪郭や色の広がりを含む画像が生成された。睡眠中の脳内イメージ可視化に関しては、前年度までに取得したデータを用いて再構成解析を進め、生成された画像の特徴と夢報告の内容を比較した。これまでの解析では、生成画像と夢の言語報告との間に明確な対応関係は見いだされていない。また、レム睡眠のデータを効率的に取得するため、入眠直後に高頻度でレム睡眠を誘導することが知られているオレキシン受容体拮抗薬を被験者に服用させる実験を計画し、大学の倫理委員会にて承認された。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

コロナ感染防止のため一般の被験者を用いた実験は行っていないが、研究室メンバーを被験者として実験および予備実験をすすめることができた。

今後の研究の推進方策

概ね当初の計画通り研究は進んでいる。２０２１年４月に４名の修士課程学生が加入し、本プロジェクトへの貢献が期待される。短期間で必要な知識や技術を身に着けてもらえるよう指導していきたい。

研究成果

• [雑誌論文] ブレインマシーンインターフェースによる幻肢痛のコントロール (2021)
  • 著者名/発表者名: 栁澤琢史
  • 雑誌名: 神経内科 巻: Vol. 94, No. 3 ページ: 351-357
• [雑誌論文] Brain-Machine Interfaceによる幻肢痛の治療 (2020)
  • 著者名/発表者名: 栁澤琢史、福間良平、Ben Seymour、細見晃一、田中将貴、貴島晴彦、神谷之康、齋藤洋一
  • 雑誌名: 機能的脳神経外科 巻: vol.59 ページ: 14-18
• [雑誌論文] Attentionally modulated subjective images reconstructed from brain activity (2020)
  • 著者名/発表者名: Horikawa Tomoyasu, Kamitani Yukiyasu
  • 雑誌名: bioRxiv 巻: ー ページ: 424510
  • オープンアクセス
• [雑誌論文] ニューロフィードバックによる疼痛治療 (2020)
  • 著者名/発表者名: 栁澤琢史
  • 雑誌名: ペインクリニック 巻: Vol.41 No.12 ページ: 1624-1632
• [雑誌論文] 慢性疼痛に対するBrain-Computer Interface (2020)
  • 著者名/発表者名: 栁澤琢史
  • 雑誌名: ペインクリニック 巻: Vol.41 No.10 ページ: 1367-1374
• [雑誌論文] BCI training to move a virtual hand reduces phantom limb pain (2020)
  • 著者名/発表者名: Yanagisawa Takufumi, Fukuma Ryohei, Seymour Ben, Tanaka Masataka, Hosomi Koichi, Yamashita Okito, Kishima Haruhiko, Kamitani Yukiyasu, Saitoh Youichi
  • 雑誌名: Neurology 巻: 95 ページ: e417-e426
  • DOI: 10.1212/WNL.0000000000009858
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Brain hierarchy score: Which deep neural networks are hierarchically brain-like? (2020)
  • 著者名/発表者名: Nonaka Soma, Majima Kei, Aoki Shuntaro C., Kamitani Yukiyasu
  • 雑誌名: bioRxiv 巻: ー ページ: 216713
  • オープンアクセス
• [雑誌論文] The Neural Representation of Visually Evoked Emotion Is High-Dimensional, Categorical, and Distributed across Transmodal Brain Regions (2020)
  • 著者名/発表者名: Horikawa Tomoyasu, Cowen Alan S., Keltner Dacher, Kamitani Yukiyasu
  • 雑誌名: iScience 巻: 23 ページ: 101060
  • DOI: 10.1016/j.isci.2020.101060
  • 査読あり / オープンアクセス / 国際共著
• [学会発表] Reconstructing visual and subjective experience from the brain (2021)
  • 著者名/発表者名: Kamitani Yukiyasu
  • 学会等名: Virtual Feindel Brain and Mind Lecture MNI McGill
  • 国際学会 / 招待講演
• [学会発表] 幻肢痛へのニューロフィードバック (2021)
  • 著者名/発表者名: 栁澤琢史、福間良平、Ben Seymour、細見晃一、田中将貴、貴島晴彦、神谷之康、齋藤洋一
  • 学会等名: International Joint Meeting 2020 in Kansai
  • 招待講演
• [学会発表] ブレイン・デコーディング ー脳から心を読む技術ー (2021)
  • 著者名/発表者名: 神谷之康
  • 学会等名: 第2回サロンLHS
  • 招待講演
• [学会発表] てんかん外科から広がる脳情報表現の解明 (2021)
  • 著者名/発表者名: 栁澤琢史、福間良平、西本伸志、菅野秀宣、田村健太郎、飯村康司、山本祥太、押野悟、谷直樹、神谷之康、貴島晴彦
  • 学会等名: てんかん外科学会
• [学会発表] Reconstructing visual and subjective experience from the brain (2020)
  • 著者名/発表者名: Kamitani Yukiyasu
  • 学会等名: China-Japan High-level Expert Symposium on Brain Science
  • 国際学会 / 招待講演
• [学会発表] ニューロフィードバックによる幻肢痛の病態解明と治療法の開発 (2020)
  • 著者名/発表者名: 栁澤琢史、福間良平、Ben Seymour、細見晃一、田中将貴、貴島晴彦、神谷之康、齋藤洋一
  • 学会等名: 日本疼痛学会
• [学会発表] 精神神経疾患の脳波による診断技術の開発 (2020)
  • 著者名/発表者名: 柳澤琢史、畑真弘、三浦慎平、福間良平、石井良平、吉山顕次、池田学、貴島晴彦
  • 学会等名: 第50回日本臨床神経生理学会学術大会
• [学会発表] 心的イメージを支える脳の働き ―夢、想像、注意に関わる心的イメージの脳情報デコーディング― (2020)
  • 著者名/発表者名: 堀川 友慈
  • 学会等名: 第21回日本イメージ心理学会大会
  • 招待講演
• [学会発表] 深層学習を用いた安静時脳波・脳磁図による認知症診断 (2020)
  • 著者名/発表者名: 柳澤琢史、畑真弘、福間良平、石井良平、吉山顕次、原田達也、池田学、貴島晴彦
  • 学会等名: 脳神経外科学会総会
• [学会発表] Reconstructing visual and subjective experience from the brain (2020)
  • 著者名/発表者名: Kamitani Yukiyasu
  • 学会等名: International Symposium on Artificial Intelligence and Brain Science
  • 国際学会 / 招待講演
• [学会発表] 脳AI融合の医療応用 (2020)
  • 著者名/発表者名: 栁澤琢史
  • 学会等名: 第2回脳科学サロン
  • 招待講演
• [学会発表] BMIによる脳機能の再建と修飾 (2020)
  • 著者名/発表者名: 栁澤琢史
  • 学会等名: 第20回日本抗加齢医学会総会
• [学会発表] 皮質脳波による視覚的意味内容のデコーディング (2020)
  • 著者名/発表者名: 栁澤琢史、福間良平、西本伸志、菅野秀宣、田村健太郎、飯村康司、山本祥太、押野悟、神谷之康、貴島晴彦
  • 学会等名: ヒト脳機能マッピング学会
• [学会発表] 安静時脳磁図に深層学習を用いた認知症診断 (2020)
  • 著者名/発表者名: 柳澤琢史、畑真弘、福間良平、石井良平、吉山顕次、原田達也、池田学、貴島晴彦
  • 学会等名: 第4回日本脳神経外科認知症学会学術総会
• [学会発表] Brain-Computer Interface (2020)
  • 著者名/発表者名: 栁澤琢史
  • 学会等名: 第43回日本神経科学会
• [学会発表] 脳情報の解読とBrain-computer interfaceの臨床応用 (2020)
  • 著者名/発表者名: 栁澤琢史
  • 学会等名: 第43回日本神経科学会
• [学会発表] Automatic diagnosis of epilepsy and dementia using big data of MEG/EEG with deep neural network (2020)
  • 著者名/発表者名: Takufumi Yanagisawa, Takufumi Tanaka, Masahiro Hata, Ryohei Fukuma , Hiroaki Kazui, Ryohei Ishii, Masafumi Yoshimura, Keiichiro Nishida, Yoshiteru Takekita, Shyunichiro Ikeda, Masao Iwase, Kenji Yoshiyama, Tatsuya Harada , Haruhiko Kishima, Manabu Ikeda
  • 学会等名: 第43回日本神経科学会
• [学会発表] 脳磁図ビッグデータとAIによる診断・治療 (2020)
  • 著者名/発表者名: 栁澤琢史
  • 学会等名: 第35回日本生体磁気学会
• [学会発表] 安静時脳磁図に深層学習を用いた認知症診断 (2020)
  • 著者名/発表者名: 栁澤琢史、畑真弘、福間良平、石井良平、吉山顕次、原田達也、池田学、貴島晴彦
  • 学会等名: 第4回日本脳神経外科認知症学会学術総会
• [学会発表] Brain-Computer Interfaceによる脳とAIのインタラクション (2020)
  • 著者名/発表者名: 柳澤琢史
  • 学会等名: 全脳アーキテクチャ勉強会
  • 招待講演