2021 Fiscal Year Annual Research Report
Visualizing neural represeantation of mental imagery
| Project/Area Number |
20H05705
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
神谷 之康 京都大学, 情報学研究科, 教授 (50418513)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
塚本 光昭 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究技術員 (00514481)
阿部 修士 京都大学, こころの未来研究センター, 准教授 (90507922)
柳澤 琢史 大阪大学, 高等共創研究院, 教授 (90533802)
|
|---|
| Project Period (FY) |
2020-08-31 – 2025-03-31
|
| Keywords | 認知科学 / 神経科学 / イメージ |
|---|
| Outline of Annual Research Achievements |
本研究課題では、脳デコーディング技術を拡張するによって、心的イメージを客観的に可視化することを目指している。これまでの研究で、ヒトの脳活動パターンを、同じイメージ内容に対応する階層的DNN特徴量に変換（デコード）することが可能になった。また、画像を知覚しているときと想起しているときで共通の脳活動パターンが見られることも確認している。これらの知見にもとづき、画像知覚時の脳活動データで訓練したデコーダを用いて、主観的なイメージを経験しているときの脳活動を、階層的DNN特徴量に変換（デコード）する。さらに、デコードされたDNN特徴量にもとづいて画素値を最適化することで、再構成画像を得る技術を開発している。これらの手法を用いて、2つの画像を重ね合わせ、そのうちの1つを注視しているときのfMRI活動から画像を生成したところ、再構成画像は、注意を向けた画像により類似していることが示された。また、表現される画像情報を保持しながら脳活動パターンを被験者間で変換する「脳コード変換器」を構築し、再構成モデルが異なる被験者間で汎化することを示した。さらに、ヒト視覚野の階層的領域とDNN階層の対応度の指標としてBrain hierarchy (BH) scoreを提案した。広く用いられている29の事前学習済みDNNのBHスコアは、画像認識性能と負の相関があり、最近開発された高性能DNNは必ずしも「脳的」でないことがわかった。脳に類似した表現を獲得するためのアーキテクチャが示唆され、心的イメージ可視化に適したDNNモデルを構築するための指針が得られた。夢見の研究のために計測したデータから、睡眠から覚醒する際、皮質と皮質下の一連の脳活動を含む2段階プロセスが進行することを見出した。また、本研究課題で開発した解析手法を、ECoG計測や異なる生物種に適用した成果を発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
コロナ感染防止のため一般の被験者を用いた実験は行っていないが、研究室メンバーを被験者として実験および予備実験をすすめることができた。
|
| Strategy for Future Research Activity |
概ね当初の計画通り研究は進んでいる。 大規模データによる事前学習済みDNNモデルを脳情報表現に適応させる研究とMEG装置を用いて高時間解像度の脳活動データを取得する研究を加速させる。
|
Research Products
(20 results)
-
-
-
[Journal Article] Decoding Oscillatory Representations of Memory-Recalled Color in Macaque Prefrontal Cortex2022
Author(s)
Tanigawa, H., Majima, K., Takei, R., Kawasaki, K., Sawahata, H., Nakahara, K., Iijima, A., Suzuki, T., Kamitani, Y. & *Hasegawa, I.
-
Journal Title
Cell Reports
Volume: -
Pages: -
Peer Reviewed / Open Access
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
