• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

The reconstruction framework of the imagined image using brain representation specific to imagination

Research Project

Project/Area Number 22K12746
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 90030:Cognitive science-related
Research InstitutionKyoto University

Principal Investigator

田中 美里  京都大学, 情報学研究科, 特定研究員 (40735320)

Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2025: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords認知科学 / fMRI / デコーディング / 想像・想起 / 夢
Outline of Research at the Start

脳情報デコーディング技術の発展により,計測された脳活動データからヒトが知覚している視覚情報を画像として描出することが可能となった.その一方で,ヒトの内より生じた想起イメージの再構成については未だ高いクオリティの画像を得ることは難しい.よって本研究では,ヒトの視覚情報処理における知覚と想起の脳活動の違いを明らかにし,想起に特異的な脳内表現を反映した脳情報デコーディングを行うことで,高精細な想起イメージを再構成する技術を開発する.これらの技術の確立により,夢など被験者の視覚情報の把握が困難な認知活動においても,その視覚情報へのアクセスが容易となり,これらの研究の革新につながると期待される.

Outline of Annual Research Achievements

本研究の目的は、ヒトの視覚情報処理における知覚と想起の脳活動の違いを明らかにし、想起に特異的な脳内表現を反映した脳情報デコーディングを行うことで、高精細な想起イメージを再構成する技術を開発することである。二年目である2023年度は、昨年に引き続き、想起脳活動データセット収集の実験プロトコル開発、および画像再構成技術の改良を行なった。
(1) 画像再構成技術の改良について
想起などにおいて得られる弱い脳活動信号を、再構成画像に十分に反映するための技術改良に引き続き取り組んだ。想起イメージにおいて、よりターゲットの特徴を反映した多様性のある画像の再構成が可能となるように手法を改善し、また改善の妥当性について検証を行った。この改善手法は知覚イメージにおいても有効であったため、視覚情報のイメージ再構成自体の改善につながり、本技法を用いた幻覚の再構成についての論文が所属研究室より出版された。(研究発表、雑誌論文1)また、同様の技術を応用したいくつかの論文が出版準備中である。(研究発表、雑誌論文2、3)
(2)想起脳活動データセット収集の実験プロトコルの開発について
より効率的に想起イメージのトレーニングデータ収集を行うため、fMRI実験デザインの改良・検証を引き続き行なった。収集したデータに対してエンコーディング解析を行ったところ、既存の知覚画像のデコーディングとは異なる脳領野において想起に応じた脳活動が確認されることがわかり、それに基づく再構成の改善に取り組もうとしている。またこの解析の結果は学会にて発表した。(研究発表、学会発表1)

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

新型コロナへの感染症対策などによりデータの収集の開始に遅れが生じたが,昨年度末よりデータ収集が再開された.全体の進捗としては「やや遅れている」と判断した.

Strategy for Future Research Activity

引き続き、実験プロトコルの開発・改良を行い、想起時の脳活動データセットの収集を行う。今後はデータ収集のスピードを早めていく予定である。また,これらのデータセットを用いた想起と知覚の信号の差異の分析、およびその画像再構成への反映についても、これまでに得られた知見に基づいて進めていくものとする。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (4 results)

All 2024 2023

All Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Open Access: 3 results) Presentation (1 results)

  • [Journal Article] Inter-individual and inter-site neural code conversion and image reconstruction without shared stimuli2024

    • Author(s)
      Wang Haibao、Ho Jun-Park Jong-Yun、Tsukamoto Mitsuaki、Tanaka Misato、Kamitani Yukiyasu、Cheng Fan L, Aoki C. Shuntaro、Muraki Yusuke、Tanaka Misato、Kamitani Yukiyasu
    • Journal Title

      arXiv

      Volume: -

    • Related Report
      2023 Research-status Report
    • Open Access
  • [Journal Article] Reconstructing visual illusory experiences from human brain activity2023

    • Author(s)
      Cheng Fan L.、Horikawa Tomoyasu、Majima Kei、Tanaka Misato、Abdelhack Mohamed、Aoki Shuntaro C.、Hirano Jin、Kamitani Yukiyasu
    • Journal Title

      Science Advances

      Volume: 9 Issue: 46 Pages: 3906-3906

    • DOI

      10.1126/sciadv.adj3906

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Sound reconstruction from human brain activity via a generative model with brain-like auditory features2023

    • Author(s)
      Park Jong-Yun、Tsukamoto Mitsuaki、Tanaka Misato、Kamitani Yukiyasu
    • Journal Title

      arXiv

      Volume: -

    • Related Report
      2023 Research-status Report
    • Open Access
  • [Presentation] 田中美里、青木俊太郎、白川健、神谷之康2024

    • Author(s)
      視覚像再構成のための実験データ取得法および信号処理手法の検討
    • Organizer
      第26回日本ヒト脳機能マッピング学会
    • Related Report
      2023 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi