The reconstruction framework of the imagined image using brain representation specific to imagination

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K12746
• Research Institution: Kyoto University
• Principal Investigator: 田中 美里 京都大学, 情報学研究科, 特定研究員 (40735320)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Keywords: 認知科学 / fMRI / デコーディング / 想像・想起 / 夢

Outline of Annual Research Achievements

本研究の目的は，ヒトの視覚情報処理における知覚と想起の脳活動の違いを明らかにし，想起に特異的な脳内表現を反映した脳情報デコーディングを行うことで，高精細な想起イメージを再構成する技術を開発することである．初年度である2022年度は，そのための想起脳活動データセット収集の実験プロトコル開発，および画像再構成技術の改良を行なった．
まず想起脳活動データセット収集の実験プロトコルの開発においては，より効率的に想起イメージのトレーニングデータ収集を行うため，fMRI実験デザインの改良・検証を行なった．これにより収集されたデータセットは想起イメージの再構成においてクオリティ面で既存データセットをやや上回るものの，データ収集効率については未だ改善の余地がある．
次に画像再構成技術の改良については，想起などにおいて得られる弱い脳活動信号が再構成画像に反映されにくい問題に取り組んだ．既存の画像再構成における再構成は知覚情報の再構成は比較的容易となっているが，想起などの弱いシグナルの再構成では似たような画像の再構成が多くなり，多様かつ十分なクオリティの再構成画像を得ることができていなかった．そのため手法の改良を行い，想起イメージにおいてもよりターゲットの特徴を反映した多様性のある画像の再構成が可能となるようにした．この改善手法は知覚イメージにおいても有効であったため，視覚情報のイメージ再構成自体の改善につながった．本技法を用いた幻覚の再構成について，所属研究室より出版準備中である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

感染症対策などの観点からデータの収集にやや遅れが見られるものの，僅かなものであり，研究の大勢には今の所影響しないと考えられる．

Strategy for Future Research Activity

引き続き，実験プロトコルの開発・改良を行い，想起時の脳活動データセットの収集を行う．これらのデータセットを用いた想起と知覚の信号の差異の分析についても進めていくものとする．
また，画像再構成については，より有用かつ最先端の技術の導入を検討していく．拡散モデルなどの高精細な画像を再構成可能な技術について検証する予定である．

Causes of Carryover

本予算で購入する予定であった研究遂行用PCについて，予算が降りる前に所属研究室から新品が支給されたため，その分の購入費用が当面不要となった．加えて，実験費用についても所属研究室から多く拠出してもらったため，かなりの額が未使用となった．
前者については当面繰り越して，改めて研究遂行用PCを新調する必要が出た場合に使用することを検討している．後者については改めて所属研究室と拠出源について擦り合わせを行う．