• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Research-status Report

自然視覚条件下の短期記憶におけるヒト大脳皮質の物体カテゴリ表現の解明

Research Project

Project/Area Number 15K16017
Research InstitutionNational Institute of Information and Communications Technology

Principal Investigator

西田 知史  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 研究員 (90751933)

Project Period (FY) 2015-04-01 – 2018-03-31
Keywords視知覚 / 意味 / カテゴリ / 脳内表現 / 脳情報デコーディング / ニューロマーケティング / MRI / 自然言語処理
Outline of Annual Research Achievements

短期記憶におけるヒト大脳皮質の物体カテゴリ表現を検証するにあたり、既存の脳内カテゴリ表現の可視化手法の改良を行い、自然知覚刺激によって誘起される脳活動からカテゴリ知覚内容を高精度で復号化する技術の確立を行った。当技術は、国際学術論文誌に投稿中であり、現在リバイズ中である。また、深層学習モデルと自然言語処理モデルを組み合わせ、自然知覚条件下の脳活動から知覚内容を文章の形で復号化する技術開発にも取り組んだ。当技術については国際学会にて発表を行った。これらの技術は、脳内カテゴリ表現を解釈可能な形で定量的に可視化するという点において、短期記憶の脳内カテゴリ表現の検証に限らず、物体知覚に関わる広範な神経科学研究に革新的な方法論をもたらすとともに、ブレインマシンインターフェース等への工学的応用が期待される。
本研究計画で開発したカテゴリ知覚内容の復号化技術に基づいて、株式会社NTTデータと共同で商用サービスを開始した。このサービスは、CM等の自然な視聴覚コンテンツを視聴中に計測された脳活動から、個人が知覚した物体、動作、印象などの情報を復号化することにより、脳情報に基づく視聴覚コンテンツの定量的評価を行う、これまでに類を見ないサービスである。当商用サービスは、メディアにも取り上げられ、社会に多大なインパクトをもたらすとともに、脳情報を用いた次世代ビジネスとして国際的な影響力を与えていくことが今後期待される。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度に実施した脳内カテゴリ表現の可視化技術の精度および汎用性向上によって、短期記憶の物体カテゴリ表現を定量的に検証するための方法論的選択肢がさらに増した。また、この手法は様々な応用可能性があることを、特に精神疾患患者や双子を対象とした検証で示し、手法の有用性と汎用性を確認できた。短期記憶の物体カテゴリ表現の精査には、個人ごとに大規模な脳活動データを用いて検証を行う必要があると判明し、追加実験が必要であることが分かったが、新たに8名の被験者から最低6時間分/人の脳活動データを取得している最中であり、8割方のデータ取得が完了している。

Strategy for Future Research Activity

取得した大規模な実験データを基に、短期記憶における脳内カテゴリ表現の可視化を目的としたデータ解析に取り組む予定である。また並行して、脳内カテゴリ表現可視化技術の改良および応用範囲拡大も進める。そこから派生した応用研究においても、科学的に有意義な結果が得られつつあるので、それらを含めて統合的に研究を進めていく予定である。

Causes of Carryover

実験実施における被験者謝金は別予算から支出したため。

Expenditure Plan for Carryover Budget

計算機環境の増設、および成果発表のための旅費等に使用する予定。

  • Research Products

    (17 results)

All 2017 2016

All Journal Article (1 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Acknowledgement Compliant: 1 results) Presentation (16 results) (of which Int'l Joint Research: 1 results,  Invited: 3 results)

  • [Journal Article] Lining up brains via a common representational space2016

    • Author(s)
      Nishimoto S, Nishida S
    • Journal Title

      Trends in Cognitive Sciences

      Volume: 20 Pages: 565-567

    • DOI

      10.1016/j.tics.2016.06.001

    • Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
  • [Presentation] スパースコーディングを用いた脳活動の意味表象推定への取り組み2017

    • Author(s)
      川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      情報処理学会 第79回全国大会
    • Place of Presentation
      名古屋大学(愛知県名古屋市)
    • Year and Date
      2017-03-16 – 2017-03-18
  • [Presentation] 深層学習を用いた画像刺激による脳活動データの説明文生成2017

    • Author(s)
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      情報処理学会 第79回全国大会
    • Place of Presentation
      名古屋大学(愛知県名古屋市)
    • Year and Date
      2017-03-16 – 2017-03-18
  • [Presentation] 大脳皮質における予測符号化を模倣した動画像予測に関する取り組み2017

    • Author(s)
      藤山千紘, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      情報処理学会 第79回全国大会
    • Place of Presentation
      名古屋大学(愛知県名古屋市)
    • Year and Date
      2017-03-16 – 2017-03-18
  • [Presentation] 脳活動におけるスパースコーディングによる意味表象推定2017

    • Author(s)
      川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      言語処理学会第23回年次大会
    • Place of Presentation
      筑波大学(茨城県つくば市)
    • Year and Date
      2017-03-13 – 2017-03-17
  • [Presentation] 画像説明文生成手法を援用した画像刺激時の脳活動の説明文生成2017

    • Author(s)
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      言語処理学会第23回年次大会
    • Place of Presentation
      筑波大学(茨城県つくば市)
    • Year and Date
      2017-03-13 – 2017-03-17
  • [Presentation] 統合失調症における脳内意味表象異常の可視化と定量2017

    • Author(s)
      松本有紀子, 孫樹洛, 村上晶郎, 西田知史, 西本伸志, 高橋英彦
    • Organizer
      第19回日本ヒト脳機能マッピング学会
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2017-03-09 – 2017-03-10
  • [Presentation] 単純な知覚を超えた高次認知の解読とその応用2017

    • Author(s)
      西田知史
    • Organizer
      第19回ヒト脳機能マッピング学会ランチョンセミナー「ニューロイメージングによる日常世界の知覚体験の可視化とその応用」
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2017-03-09 – 2017-03-10
    • Invited
  • [Presentation] 脳活動モデル化を介した脳内知覚・意味表現の可視化2017

    • Author(s)
      西田知史
    • Organizer
      大塚製薬株式会社 中枢神経疾患研究所 講演会
    • Place of Presentation
      大塚製薬中枢神経疾患研究所(徳島県徳島市)
    • Year and Date
      2017-02-16 – 2017-02-16
  • [Presentation] 統合失調症における脳内意味表象異常の可視化と定量2017

    • Author(s)
      松本有紀子, 孫樹洛, 村上晶郎, 西田知史, 西本伸志, 高橋英彦
    • Organizer
      脳と心のメカニズム第17回冬のワークショップ
    • Place of Presentation
      ルスツリゾート(北海道虻田郡留寿都村)
    • Year and Date
      2017-01-11 – 2017-01-13
  • [Presentation] 脳活動予測モデルを介した脳内知覚・意味表現の定量可視化2016

    • Author(s)
      西田知史
    • Organizer
      第377回CBI学会講演会「fMRI脳機能イメージング:新しいバイオマーカーを求めて」
    • Place of Presentation
      グランフロント大阪ナレッジキャピタル(大阪府大阪市)
    • Year and Date
      2016-11-25 – 2016-11-25
    • Invited
  • [Presentation] Generating Natural Language Descriptions for Semantic Representations of Human Brain Activity2016

    • Author(s)
      Matsuo E, Kobayashi I, Nishimoto S, Nishida S, Asoh H
    • Organizer
      The 54th Annual Meeting of the Association for Computational Linguistics (ACL) - Student Research Workshop
    • Place of Presentation
      Humboldt University(Berlin, Germany)
    • Year and Date
      2016-08-07 – 2016-08-12
    • Int'l Joint Research
  • [Presentation] Decoding words from human brain activity during mental imagery of natural movies2016

    • Author(s)
      Miyake Y, Nishida S, Nishimoto S
    • Organizer
      第39回日本神経科学大会
    • Place of Presentation
      パシフィコ横浜(神奈川県横浜市)
    • Year and Date
      2016-07-20 – 2016-07-22
  • [Presentation] Voxelwise modeling with distributed word representations reveals the similarity and dissimilarity of semantic structures between a large-scale text corpus and the human brain2016

    • Author(s)
      Nishida S, Huth AG, Gallant JL, Nishimoto S
    • Organizer
      第39回日本神経科学大会
    • Place of Presentation
      パシフィコ横浜(神奈川県横浜市)
    • Year and Date
      2016-07-20 – 2016-07-22
  • [Presentation] 自然知覚の脳内情報表現2016

    • Author(s)
      西田知史
    • Organizer
      一般財団法人テレコム先端技術研究支援センター テレコム技術情報セミナー
    • Place of Presentation
      テレコム先端技術研究支援センター(東京都)
    • Year and Date
      2016-07-15 – 2016-07-15
    • Invited
  • [Presentation] 行列因子分解を用いた動画刺激による脳活動データからの言語表象推定への取り組み2016

    • Author(s)
      川瀬千晶, 小林一郎, 西本伸志, 麻生英樹, 西田知史
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州国際会議場(福岡県北九州市)
    • Year and Date
      2016-05-23 – 2016-05-26
  • [Presentation] 深層学習を用いた画像刺激による脳活動データからの説明文生成2016

    • Author(s)
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州国際会議場(福岡県北九州市)
    • Year and Date
      2016-05-23 – 2016-05-26

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi