• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Human cortical representation of object categories in short-term memory of natural visual images

Research Project

Project/Area Number 15K16017
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeMulti-year Fund
Research Field Cognitive science
Research InstitutionNational Institute of Information and Communications Technology

Principal Investigator

NISHIDA SATOSHI  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 研究員 (90751933)

Project Period (FY) 2015-04-01 – 2018-03-31
Project Status Completed (Fiscal Year 2017)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2017: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2016: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2015: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords短期記憶 / 意味知覚 / 視覚 / 脳内表現 / 脳情報デコーディング / ニューロマーケティング / fMRI / 自然言語処理 / MRI / 視知覚 / 意味 / カテゴリ / 符号化モデル / 復号化モデル
Outline of Final Research Achievements

To elucidate neural substrates for visual working memory, which is a neural function for maintaining visual information temporarily after its disappearance, I tried to develop a new mathematical method to model neural representations and to quantify neural representations of categories (e.g. “woman”, “talk”, and “cute”) during visual working memory. The developed method not only visualized neural category representations successfully but also was applied to a neural decoding technique to recover perceptual contents from brain activity in the form of words. Using this method, I found the cortical localization of category representations during working memory and the commonality of category representations between when visual information is directly perceived and when visual information is stored in working memory.

Report

(4 results)
  • 2017 Annual Research Report   Final Research Report ( PDF )
  • 2016 Research-status Report
  • 2015 Research-status Report
  • Research Products

    (51 results)

All 2018 2017 2016 2015 Other

All Journal Article (6 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 6 results,  Open Access: 1 results,  Acknowledgement Compliant: 1 results) Presentation (41 results) (of which Int'l Joint Research: 5 results,  Invited: 9 results) Remarks (1 results) Patent(Industrial Property Rights) (3 results)

  • [Journal Article] Decoding naturalistic experiences from human brain activity via distributed representations of words.2018

    • Author(s)
      Nishida S, Nishimoto S
    • Journal Title

      NeuroImage

      Volume: - Pages: 232-242

    • DOI

      10.1016/j.neuroimage.2017.08.017

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] 意味認知と脳内情報表現2017

    • Author(s)
      西田知史、西本伸志
    • Journal Title

      人工知能

      Volume: 32 Pages: 857-862

    • NAID

      130007917371

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Semantic representation in the cerebral cortex with sparse coding2017

    • Author(s)
      Kawase Chiaki、Kobayashi Ichiro、Nishimoto Shinji、Nishida Satoshi、Asoh Hideki
    • Journal Title

      Proceedings of 2017 IEEE International Conference on Systems, Man, and Cybernetics

      Volume: - Pages: 606-611

    • DOI

      10.1109/smc.2017.8122673

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 創薬医療に貢献するNICTの「脳情報科学×AI」研究開発2017

    • Author(s)
      西田 知史、下川 哲也、小泉 愛
    • Journal Title

      CICSJ Bulletin

      Volume: 35 Issue: 2 Pages: 168

    • DOI

      10.11546/cicsj.35.168

    • NAID

      130005866031

    • ISSN
      0913-3747, 1347-2283
    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Lining up brains via a common representational space2016

    • Author(s)
      Nishimoto S, Nishida S
    • Journal Title

      Trends in Cognitive Sciences

      Volume: 20(8):565-7 Issue: 8 Pages: 565-567

    • DOI

      10.1016/j.tics.2016.06.001

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
  • [Journal Article] Different target-discrimination times can be followed by the same saccade-initiation timing in different stimulus conditions during visual searches2015

    • Author(s)
      Tanaka T, Nishida S, Ogawa T
    • Journal Title

      Journal of Neurophysiology

      Volume: 114 Issue: 1 Pages: 366-230

    • DOI

      10.1152/jn.00043.2015

    • Related Report
      2015 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] fMRIによるヒト脳情報表現の定量理解とその応用2018

    • Author(s)
      西田知史
    • Organizer
      SSKセミナー「脳科学のビジネス、組織へのインパクト」
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] 脳内情報の可視化技術とビジネス・AIへの応用2018

    • Author(s)
      西田知史
    • Organizer
      認定NPO安全安心科学アカデミー平成29年度第2回講演会
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] 異被験者間の脳活動データにおける相互変換への取り組み2018

    • Author(s)
      張嘉瑩、小林一郎、松尾映里、西本伸志、西田知史、麻生英樹
    • Organizer
      言語処理学会第24回年次大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 脳活動データからのスパースコーディングによる意味表象推定と基底の分析2018

    • Author(s)
      川瀬千晶、小林一郎、西本伸志、西田知史、麻生英樹
    • Organizer
      言語処理学会第24回年次大
    • Related Report
      2017 Annual Research Report
  • [Presentation] 脳内情報を可視化する:知覚解読と AI への応用2018

    • Author(s)
      西田知史
    • Organizer
      第17期金曜サイエンスサロン第3回
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] スパースコーディングを用いた脳活動の意味表象推定への取り組み2017

    • Author(s)
      川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      情報処理学会 第79回全国大会
    • Place of Presentation
      名古屋大学(愛知県名古屋市)
    • Year and Date
      2017-03-16
    • Related Report
      2016 Research-status Report
  • [Presentation] 深層学習を用いた画像刺激による脳活動データの説明文生成2017

    • Author(s)
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      情報処理学会 第79回全国大会
    • Place of Presentation
      名古屋大学(愛知県名古屋市)
    • Year and Date
      2017-03-16
    • Related Report
      2016 Research-status Report
  • [Presentation] 大脳皮質における予測符号化を模倣した動画像予測に関する取り組み2017

    • Author(s)
      藤山千紘, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      情報処理学会 第79回全国大会
    • Place of Presentation
      名古屋大学(愛知県名古屋市)
    • Year and Date
      2017-03-16
    • Related Report
      2016 Research-status Report
  • [Presentation] 脳活動におけるスパースコーディングによる意味表象推定2017

    • Author(s)
      川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      言語処理学会第23回年次大会
    • Place of Presentation
      筑波大学(茨城県つくば市)
    • Year and Date
      2017-03-13
    • Related Report
      2016 Research-status Report
  • [Presentation] 画像説明文生成手法を援用した画像刺激時の脳活動の説明文生成2017

    • Author(s)
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      言語処理学会第23回年次大会
    • Place of Presentation
      筑波大学(茨城県つくば市)
    • Year and Date
      2017-03-13
    • Related Report
      2016 Research-status Report
  • [Presentation] 統合失調症における脳内意味表象異常の可視化と定量2017

    • Author(s)
      松本有紀子, 孫樹洛, 村上晶郎, 西田知史, 西本伸志, 高橋英彦
    • Organizer
      第19回日本ヒト脳機能マッピング学会
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2017-03-09
    • Related Report
      2016 Research-status Report
  • [Presentation] 単純な知覚を超えた高次認知の解読とその応用2017

    • Author(s)
      西田知史
    • Organizer
      第19回ヒト脳機能マッピング学会ランチョンセミナー「ニューロイメージングによる日常世界の知覚体験の可視化とその応用」
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2017-03-09
    • Related Report
      2016 Research-status Report
    • Invited
  • [Presentation] 統合失調症における脳内意味表象異常の可視化と定量2017

    • Author(s)
      松本有紀子, 孫樹洛, 村上晶郎, 西田知史, 西本伸志, 高橋英彦
    • Organizer
      脳と心のメカニズム第17回冬のワークショップ
    • Place of Presentation
      ルスツリゾート(北海道虻田郡留寿都村)
    • Year and Date
      2017-01-11
    • Related Report
      2016 Research-status Report
  • [Presentation] 「意味」の脳内表象を可視化する-意味論への神経科学的アプローチ-2017

    • Author(s)
      西田知史
    • Organizer
      北大ワークショップ「心をめぐる哲学的問題への科学的アプローチ」
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli2017

    • Author(s)
      Matsuo Eri、Kobayashi Ichiro、Nishimoto Shinji、Nishida Satoshi、Aso Hideki
    • Organizer
      NIPS 2017 Workshop on Visually-Grounded Interaction and Language
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 脳内情報の可視化とビジネス・AIへの応用2017

    • Author(s)
      西田知史
    • Organizer
      2017年度応用脳科学コンソーシアム第1回CiNet脳情報研究ワークショップ
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] ヒト脳内における自然視聴覚情報表現への遺伝的寄与2017

    • Author(s)
      豊田峻輔、西田知史、本多智佳、渡邉幹夫、大阪ツインリサーチグループ、西本伸志
    • Organizer
      第64回中部日本生理学会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 脳活動のfMRIデータへの疎性コーディング適用による意味表象推定2017

    • Author(s)
      川瀬千晶、小林一郎、西本伸志、西田知史、麻生英樹
    • Organizer
      第33回ファジィシステムシンポジウム
    • Related Report
      2017 Annual Research Report
  • [Presentation] 大脳皮質における予測符号化を模倣した深層動画像予測モデルに関する考察2017

    • Author(s)
      藤山千紘、小林一郎、西本伸志、西田知史、麻生英樹
    • Organizer
      第33回ファジィシステムシンポジウム
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層学習を用いた画像刺激下の脳活動情報からの文生成2017

    • Author(s)
      松尾映里、小林一郎、西本伸志、西田知史、麻生英樹
    • Organizer
      第33回ファジィシステムシンポジウム
    • Related Report
      2017 Annual Research Report
  • [Presentation] 高次視覚野応答のエンコーディングによる統合失調症の脳内意味表象異常の評価2017

    • Author(s)
      松本有紀子、孫樹洛、村上晶郎、西田知史、西本伸志、高橋英彦
    • Organizer
      第1回ヒト脳イメージング研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Voxelwise modeling for human cortical representations of impression during natural visual experiences2017

    • Author(s)
      西田知史、西本伸志
    • Organizer
      第1回ヒト脳イメージング研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Genetic contributions to the representation of natural audiovisual experiences in the human brain2017

    • Author(s)
      Nishida S、Toyoda S、Honda C、Watanabe M、Osaka Twin Research Group、Nishimoto S
    • Organizer
      第40回日本神経科学大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 脳情報を読み解く:脳とAI の融合に向けて2017

    • Author(s)
      西田知史
    • Organizer
      第7回 CiNetシンポジウム
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Phenomenological training in the wood of illusions: A methodological proposal for neurophenomenology2017

    • Author(s)
      Niikawa Takuya、Miyahara Katsunori、Hamada Hiroaki、Nishida Satoshi
    • Organizer
      The 21st Annual Meeting of the ASSC
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Phenomenal distinctions and structural isomorphism: A phenomenological critique of the integrated information theory of consciousness2017

    • Author(s)
      Miyahara Katsunori、Niikawa Takuya、Hamada Hiroaki、Satoshi Nishida
    • Organizer
      The Science of Consciousness 2017
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 大脳皮質における予測符号化を模倣した動画像予測モデルと脳活動の相関に関する考察2017

    • Author(s)
      藤山千紘、小林一郎、西本伸志、西田知史、麻生英樹
    • Organizer
      第31回人工知能学会全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層学習による画像刺激時のfMRI脳活動データからの文生成2017

    • Author(s)
      松尾映里、小林一郎、西本伸志、西田知史、麻生英樹
    • Organizer
      第31回人工知能学会全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] スパースコーディングを用いた脳活動の意味表象推定に関する精度向上への取り組み2017

    • Author(s)
      川瀬千晶、小林一郎、西本伸志、西田知史、麻生英樹
    • Organizer
      第31回人工知能学会全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 脳活動モデル化を介した脳内知覚・意味表現の可視化2017

    • Author(s)
      西田知史
    • Organizer
      大塚製薬株式会社 中枢神経疾患研究所 講演会
    • Place of Presentation
      大塚製薬中枢神経疾患研究所(徳島県徳島市)
    • Related Report
      2016 Research-status Report
  • [Presentation] Generating Natural Language Descriptions for Semantic Representations of Human Brain Activity2016

    • Author(s)
      Matsuo E, Kobayashi I, Nishimoto S, Nishida S, Asoh H
    • Organizer
      The 54th Annual Meeting of the Association for Computational Linguistics (ACL) - Student Research Workshop
    • Place of Presentation
      Humboldt University(Berlin, Germany)
    • Year and Date
      2016-08-07
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] Decoding words from human brain activity during mental imagery of natural movies2016

    • Author(s)
      Miyake Y, Nishida S, Nishimoto S
    • Organizer
      第39回日本神経科学大会
    • Place of Presentation
      パシフィコ横浜(神奈川県横浜市)
    • Year and Date
      2016-07-20
    • Related Report
      2016 Research-status Report
  • [Presentation] Voxelwise modeling with distributed word representations reveals the similarity and dissimilarity of semantic structures between a large-scale text corpus and the human brain2016

    • Author(s)
      Nishida S, Huth AG, Gallant JL, Nishimoto S
    • Organizer
      第39回日本神経科学大会
    • Place of Presentation
      パシフィコ横浜(神奈川県横浜市)
    • Year and Date
      2016-07-20
    • Related Report
      2016 Research-status Report
  • [Presentation] oxelwise modeling with distributed word representations reveals the similarity and dissimilarity of semantic structures between a large-scale text corpus and the human brain2016

    • Author(s)
      Nishida S, Huth AG, Gallant JL, Nishimoto S
    • Organizer
      第39回日本神経科学大会
    • Place of Presentation
      パシフィコ横浜(神奈川県横浜市西区みなとみらい1-1-1)
    • Year and Date
      2016-07-20
    • Related Report
      2015 Research-status Report
  • [Presentation] 行列因子分解を用いた動画刺激による脳活動データからの言語表象推定への取り組み2016

    • Author(s)
      川瀬千晶, 小林一郎, 西本伸志, 麻生英樹, 西田知史
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州国際会議場(福岡県北九州市)
    • Year and Date
      2016-05-23
    • Related Report
      2016 Research-status Report
  • [Presentation] 深層学習を用いた画像刺激による脳活動データからの説明文生成2016

    • Author(s)
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州国際会議場(福岡県北九州市)
    • Year and Date
      2016-05-23
    • Related Report
      2016 Research-status Report
  • [Presentation] 脳内イメージの可視化とその応用2016

    • Author(s)
      西田知史
    • Organizer
      応用脳科学コンソーシアム第4回CiNet脳情報研究ワークショップ
    • Place of Presentation
      京都大学東京オフィス(東京都千代田区丸の内1-5-1 新丸の内ビルディング 10階)
    • Year and Date
      2016-01-20
    • Related Report
      2015 Research-status Report
  • [Presentation] 自然知覚の脳内情報表現2016

    • Author(s)
      西田知史
    • Organizer
      一般財団法人テレコム先端技術研究支援センター テレコム技術情報セミナー
    • Place of Presentation
      テレコム先端技術研究支援センター(東京都)
    • Related Report
      2016 Research-status Report
    • Invited
  • [Presentation] 脳活動予測モデルを介した脳内知覚・意味表現の定量可視化2016

    • Author(s)
      西田知史
    • Organizer
      第377回CBI学会講演会「fMRI脳機能イメージング:新しいバイオマーカーを求めて」
    • Place of Presentation
      グランフロント大阪ナレッジキャピタル(大阪府大阪市)
    • Related Report
      2016 Research-status Report
    • Invited
  • [Presentation] Word statistics in large-scale texts explain the human cortical semantic representation of objects, actions, and impressions2015

    • Author(s)
      Nishida S, Huth AG, Gallant JL, Nishimoto S
    • Organizer
      The 45th Annual Meeting of the Society for Neuroscience
    • Place of Presentation
      シカゴ(米国)
    • Year and Date
      2015-10-17
    • Related Report
      2015 Research-status Report
    • Int'l Joint Research
  • [Presentation] A corpus-based natural language model explains semantic representation distributed across cortical areas in the human brain2015

    • Author(s)
      Nishida S, Huth AG, Gallant JL, Nishimoto S
    • Organizer
      第38回日本神経科学大会
    • Place of Presentation
      神戸国際会議場(兵庫県神戸市中央区港島中町6-9-1)
    • Year and Date
      2015-07-28
    • Related Report
      2015 Research-status Report
  • [Remarks] 西田知史 - 研究者 - researchmap

    • URL

      https://researchmap.jp/s-nishida/

    • Related Report
      2017 Annual Research Report
  • [Patent(Industrial Property Rights)] 脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法2017

    • Inventor(s)
      西田知史、西本伸志、前田直哉
    • Industrial Property Rights Holder
      西田知史、西本伸志、前田直哉
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2017-154590
    • Filing Date
      2017
    • Related Report
      2017 Annual Research Report
  • [Patent(Industrial Property Rights)] 素材評価方法、及び素材評価装置2016

    • Inventor(s)
      西本伸志, 西田知史, 柏岡秀紀
    • Industrial Property Rights Holder
      西本伸志, 西田知史, 柏岡秀紀
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2016-007314
    • Filing Date
      2016-01-18
    • Related Report
      2015 Research-status Report
  • [Patent(Industrial Property Rights)] 視聴素材評価方法、視聴素材評価システム、及びプログラム2016

    • Inventor(s)
      西本, 西田, 柏岡, 矢野, 前田, 角, 萩原, 茨木
    • Industrial Property Rights Holder
      西本, 西田, 柏岡, 矢野, 前田, 角, 萩原, 茨木
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2016-007307
    • Filing Date
      2016-01-18
    • Related Report
      2015 Research-status Report

URL: 

Published: 2015-04-16   Modified: 2019-03-29  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi