• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Visualizing neural represeantation of mental imagery

Research Project

Project/Area Number 20H05705
Research InstitutionKyoto University

Principal Investigator

神谷 之康  京都大学, 情報学研究科, 教授 (50418513)

Co-Investigator(Kenkyū-buntansha) 塚本 光昭  株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究技術員 (00514481)
阿部 修士  京都大学, 人と社会の未来研究院, 准教授 (90507922)
柳澤 琢史  大阪大学, 高等共創研究院, 教授 (90533802)
Project Period (FY) 2020-08-31 – 2025-03-31
Keywords認知科学 / 神経科学 / イメージ / 錯視
Outline of Annual Research Achievements

本研究課題では、心的イメージを脳活動パターンから客観的に可視化するための方法の開発と検証実験を進めている。主観知覚を可視化する最初の成果として、注意による見えの違いを画像として再構成する手法について論文をまとめ発表した。また、心的イメージ可視化を効率するための手法として研究してきた脳コード変換器についても、論文発表を行った。この手法により、限られたデータでも、詳細な視覚特徴表現を保持しながら脳活動パターンを被験者間で変換することが可能になり、統制がむつかしい想起や夢の解析での活用が期待される。現在進行中のプロジェクトでは、錯視画像を見ているときの知覚像の再構成(画像化)について検証用データを取得した。大部分の被験者で予備実験で観察された主観的知覚像(錯視像)の可視化が確認できた。錯覚は、脳が限られた感覚入力からどのように世界を推測しているかを浮き彫りにするもので、これまでの研究では、視覚皮質活動が全体的な錯覚体験をどのように表現されているか知られていなかった。主観的輪郭とネオンカラーの再構成画像は、錯視体験と一致し、かつ、主観的輪郭とネオンカラーの表現は、視覚皮質領域の違いによって異なることがわかった。睡眠実験については、ベルソムラを用いて入眠時REMを誘発する方法を確立し、データ取得を行った。大規模言語モデルを用いた主観報告の解析と、想起時の脳活動との比較を行った。その他、課題で開発した解析手法を、ECoG計測や異なる生物種に適用した成果を発表した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究プロジェクトは全体として順調に進展しているが、MEGデータの取得・解析については、担当者が、別プロジェクトのためにあまり時間が取れず、やや進捗が遅れている。2022年度中に京都大学のWang Haibao、村木優介、小野尾俊介、Yu Yawei、司 怜央、前野彩実がメンバーとして加わり、実験・解析のサポートに従事した。

Strategy for Future Research Activity

当初の計画に従って研究を進めるとともに、進展著しいAI分野で開発される新しいモデルを取り入れ、更に高度な可視化技術の実現を目指す。脳コード変換機を用いて、fMRIデータで訓練したモデルを、他のモダリティに拡張する。

  • Research Products

    (31 results)

All 2023 2022 Other

All Journal Article (8 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 7 results,  Open Access: 7 results) Presentation (20 results) (of which Int'l Joint Research: 6 results,  Invited: 9 results) Book (2 results) Remarks (1 results)

  • [Journal Article] Inter-individual deep image reconstruction via hierarchical neural code conversion2023

    • Author(s)
      Ho Jun Kai、Horikawa Tomoyasu、Majima Kei、Cheng Fan、Kamitani Yukiyasu
    • Journal Title

      NeuroImage

      Volume: 271 Pages: 120007~120007

    • DOI

      10.1016/j.neuroimage.2023.120007

    • Peer Reviewed / Open Access
  • [Journal Article] 脳をくすぐるアート2023

    • Author(s)
      神谷之康
    • Journal Title

      通信ソサイエティマガジン B-Plus

      Volume: no. 64 Pages: 295~304

    • Open Access
  • [Journal Article] Development and Clinical Application of BMI2022

    • Author(s)
      Yanagisawa Takufumi
    • Journal Title

      Japanese Journal of Neurosurgery

      Volume: 31 Pages: 558~563

    • DOI

      10.7887/jcns.31.558

    • Peer Reviewed / Open Access
  • [Journal Article] Multiple types of navigational information are independently encoded in the population activities of the dentate gyrus neurons2022

    • Author(s)
      Murano Tomoyuki、Nakajima Ryuichi、Nakao Akito、Hirata Nao、Amemori Satoko、Murakami Akira、Kamitani Yukiyasu、Yamamoto Jun、Miyakawa Tsuyoshi
    • Journal Title

      Proceedings of the National Academy of Sciences

      Volume: 119 Pages: e2106830119

    • DOI

      10.1073/pnas.2106830119

    • Peer Reviewed
  • [Journal Article] Neurofeedback Training without Explicit Phantom Hand Movements and Hand-Like Visual Feedback to Modulate Pain: A Randomized Crossover Feasibility Trial2022

    • Author(s)
      Yanagisawa Takufumi、Fukuma Ryohei、Seymour Ben、Tanaka Masataka、Yamashita Okito、Hosomi Koichi、Kishima Haruhiko、Kamitani Yukiyasu、Saitoh Youichi
    • Journal Title

      The Journal of Pain

      Volume: 23 Pages: 2080~2091

    • DOI

      10.1016/j.jpain.2022.07.009

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Abnormal phase?amplitude coupling characterizes the interictal state in epilepsy2022

    • Author(s)
      Fujita Yuya、Yanagisawa Takufumi、Fukuma Ryohei、Ura Natsuko、Oshino Satoru、Kishima Haruhiko
    • Journal Title

      Journal of Neural Engineering

      Volume: 19 Pages: 026056~026056

    • DOI

      10.1088/1741-2552/ac64c4

    • Peer Reviewed / Open Access
  • [Journal Article] Attention modulates neural representation to render reconstructions according to subjective appearance2022

    • Author(s)
      Horikawa Tomoyasu、Kamitani Yukiyasu
    • Journal Title

      Communications Biology

      Volume: 5 Pages: 34~34

    • DOI

      10.1038/s42003-021-02975-5

    • Peer Reviewed / Open Access
  • [Journal Article] Voluntary control of semantic neural representations by imagery with conflicting visual stimulation2022

    • Author(s)
      Fukuma Ryohei、Yanagisawa Takufumi、Nishimoto Shinji、Sugano Hidenori、Tamura Kentaro、Yamamoto Shota、Iimura Yasushi、Fujita Yuya、Oshino Satoru、Tani Naoki、Koide?Majima Naoko、Kamitani Yukiyasu、Kishima Haruhiko
    • Journal Title

      Communications Biology

      Volume: 5 Pages: 214

    • DOI

      10.1038/s42003-022-03137-x

    • Peer Reviewed / Open Access
  • [Presentation] Brain-Computer Interface to control phantom limb pain and visual representation2023

    • Author(s)
      Yanagisawa T
    • Organizer
      Osaka University-University of Toronto Inter-University International Symposia Neuromodulation and Neuroprosthetic Technologies for Improving Human Lives
    • Int'l Joint Research / Invited
  • [Presentation] 運動を意識せずに運動表象を修飾するBCI2023

    • Author(s)
      栁澤 琢史、福間 良平、Ben Seymour、田中 将貴、山下 宙人、細見 晃一、貴島 晴彦、神谷 之康、齋藤洋一
    • Organizer
      第62回日本定位・機能神経外科学会
  • [Presentation] Internet of Brains, 人間拡張、その未来2022

    • Author(s)
      栁澤琢史
    • Organizer
      Research Fair 2022、SONY CSL京都
    • Invited
  • [Presentation] Phase-amplitude couplingはCNNによるてんかん弁別精度を改善する2022

    • Author(s)
      栁澤琢史
    • Organizer
      第2回「脳波判読と診断支援のDX」ワークショップ
    • Invited
  • [Presentation] AIによるてんかん脳波・脳磁図の自動診断と脳波特徴の同定2022

    • Author(s)
      栁澤琢史
    • Organizer
      第25回 沖縄てんかん研究会
    • Invited
  • [Presentation] 脳情報を読み取り操作するBrain-Computer Interface2022

    • Author(s)
      栁澤琢史
    • Organizer
      第15回日時間言語フォーラム
  • [Presentation] 幻肢運動を意識せずに幻肢運動表象に可塑的変化を誘導するニューロフィードバック訓練2022

    • Author(s)
      柳澤琢史、福間良平、Ben Seymour、田中将貴、山下宙人、細見晃一、貴島晴彦、神谷之康、齋藤洋一
    • Organizer
      第44回日本疼痛学会
  • [Presentation] ニューラルネットワーク中間層表現を用いた MEG 信号からの視覚刺激画像の意味的推定2022

    • Author(s)
      楊惠翔、福間良平、貴島晴彦、栁澤琢史
    • Organizer
      第9回日本BMI研究会
  • [Presentation] 脳とAI、コンピュータサイエンスと人文社会科学との交差点2022

    • Author(s)
      栁澤琢史
    • Organizer
      イノベーションジャパン2022
  • [Presentation] 想起型Brain-Computer Interfaceによる意思伝達技術の開発2022

    • Author(s)
      栁澤琢史、福間良平、西本伸志、菅野秀宣、田村健太郎、飯村康司、山本祥太、押野悟、谷直樹、神谷之康、貴島晴彦
    • Organizer
      第81回日本脳神経外科学会総会
  • [Presentation] Neurofeedback treatment to modulate sensorimotor cortical representation of phantom limb pain, Topical workshop: Mechanistic Brain-based treatments for chronic pain2022

    • Author(s)
      Yanagisawa T
    • Organizer
      IAPS 2022
    • Int'l Joint Research
  • [Presentation] Externalizing and sharing the neuroverese2022

    • Author(s)
      Kamitani Yukiyasu
    • Organizer
      AI, neuroscience and hardware: from neural to artificial systems and back again
    • Int'l Joint Research / Invited
  • [Presentation] Reconstruction of line illusion from human brain activity2022

    • Author(s)
      Cheng Fan, Horikawa Tomoyasu, Majima Kei, Kamitani Yukiyasu
    • Organizer
      Reconstruction of line illusion from human brain activity
    • Int'l Joint Research
  • [Presentation] Human and computer interaction through brain and AI, International forum, Intelligence augmentation and amplification plus society 20222022

    • Author(s)
      Yanagisawa T
    • Organizer
      IAASOC 2022
    • Int'l Joint Research
  • [Presentation] 問題提起2022

    • Author(s)
      栁澤琢史
    • Organizer
      IoB主催研究イベント「数理科学者と解く神経科学のオープンプロブレム」
    • Invited
  • [Presentation] Imagery-based brain-computer interface using electrocorticograms2022

    • Author(s)
      FUKUMA, Ryohei; YANAGISAWA, Takufumi; Nishimoto, Shinji; Sugano, Hidenori; Katahira, Kentaro; Yamamoto, Shota; Iimura, Yasushi; Fujita, Yuya; OSHINO, Satoru; Tani, Naoki; Koide-Majima, Naoko; Kamitani, Yukiyasu; Kishima, Haruhiko
    • Organizer
      第45回日本神経科学大会(Neuro2022)
    • Int'l Joint Research
  • [Presentation] Towards Human Augmentation and Trustworthy AI with Ethical Design- Collaboration of CS and SSH to realize human augmentation and trustworthy AI2022

    • Author(s)
      Yanagisawa T
    • Organizer
      JST本部 オンラインセミナー
  • [Presentation] Brain Machine Interfaceを用いた革新的治療戦略2022

    • Author(s)
      栁澤琢史
    • Organizer
      第63回日本神経学会学術集会シンポジウム
    • Invited
  • [Presentation] 侵襲 Brain-Computer Interface による身体の制約からの解放2022

    • Author(s)
      栁澤琢史
    • Organizer
      第122回日本外科学会定期学術集会
    • Invited
  • [Presentation] Visualization and manipulation of our perception and imagery by BCI2022

    • Author(s)
      Yanagisawa T
    • Organizer
      Consciousness Club Tokyo
    • Invited
  • [Book] 習慣と脳の科学2023

    • Author(s)
      ラッセル・A・ポルドラック、神谷之康、児島修
    • Total Pages
      296
    • Publisher
      みすず書房
    • ISBN
      4622095882
  • [Book] カンデル神経科学2022

    • Author(s)
      日本語版監修:宮下保司(東京大学名誉教授)/監訳:岡野栄之・神谷之康・合田裕紀子・加藤総夫・藤田一郎・伊佐正・定藤規弘・大隅典子・井ノ口馨・笠井清登
    • Total Pages
      1704
    • Publisher
      メディカル・サイエンス・インターナショナル
    • ISBN
      4815730555
  • [Remarks] 脳と心の科学の「ミッドライフクライシス」

    • URL

      https://www.note.kanekoshobo.co.jp/n/nd90894f959b1

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi