• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Deeping Brain Decoding Technology and Development of its Application based on Understanding the Mechanism of Dealing with Multimodal Information in the Brain

Research Project

Project/Area Number 17H01797
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Research Field Soft computing
Research InstitutionOchanomizu University

Principal Investigator

Kobayashi Ichiro  お茶の水女子大学, 基幹研究院, 教授 (60281440)

Co-Investigator(Kenkyū-buntansha) 西本 伸志  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455)
西田 知史  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (90751933)
Project Period (FY) 2017-04-01 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2019: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2018: ¥8,060,000 (Direct Cost: ¥6,200,000、Indirect Cost: ¥1,860,000)
Fiscal Year 2017: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Keywords脳内情報解読 / 深層学習モデル / fMRI / 脳内状態推定 / 予測符号化 / fMRIデータ / 脳内解読 / マルチモーダル情報処理 / テキスト生成 / 脳活動データ解析 / マルチモーダル自己符号化器 / ベイズ学習と深層学習の統合 / 文生成
Outline of Final Research Achievements

As for the brain decoding method, we have proposed a data augment method by using a multimodal deep learning model to tackle the lack of enough data to train the parameters of a deep learning model. We have also investigated a fundamental mechanism to generate an image from a sentence. We have furthermore verified that there is a prediction ability in the brain by confirming correlation between the representation layers and the brain activity data observed by means of fMRI.

Academic Significance and Societal Importance of the Research Achievements

fMRIデータを使う脳神経科学の研究において、データ取得は高価であり、近年発達している深層学習を用いた研究に対して、十分なデータを揃えることができなかった.本研究においては、それを解消する一つの方法論を示した.また、脳におけるマルチモーダル情報処理の基礎的な検討として、言語と画像の対応関係を意味的な立場で解析した結果を示すことができた.さらに、予測符号化という仮説において実験的にその存在を裏付ける結果を得ることができた.これらは脳神経科学に対するデータサイエンスの視点からの研究の方向性を示すものと考える.

Report

(4 results)
  • 2019 Annual Research Report   Final Research Report ( PDF )
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • Research Products

    (35 results)

All 2020 2019 2018 2017

All Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 2 results,  Open Access: 3 results) Presentation (30 results) (of which Int'l Joint Research: 1 results,  Invited: 6 results) Book (1 results)

  • [Journal Article] Mapping stimulus feature selectivity in macaque V1 by two-photon Ca 2+ imaging: Encoding-model analysis of fluorescence responses to natural movies2018

    • Author(s)
      Ikezoe Koji、Amano Mahya、Nishimoto Shinji、Fujita Ichiro
    • Journal Title

      NeuroImage

      Volume: 印刷中 Pages: 1-12

    • DOI

      10.1016/j.neuroimage.2018.01.009

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 脳情報を読み解く2018

    • Author(s)
      西本伸志
    • Journal Title

      情報処理

      Volume: 59(1) Pages: 48-53

    • Related Report
      2017 Annual Research Report
    • Open Access
  • [Journal Article] Decoding naturalistic experiences from human brain activity via distributed representations of words.2018

    • Author(s)
      Nishida S, Nishimoto S
    • Journal Title

      NeuroImage

      Volume: - Pages: 232-242

    • DOI

      10.1016/j.neuroimage.2017.08.017

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] 意味認知と脳内情報表現2017

    • Author(s)
      西田知史, 西本伸志
    • Journal Title

      人工知能

      Volume: 32(6) Pages: 857-862

    • NAID

      130007917371

    • Related Report
      2017 Annual Research Report
  • [Presentation] 音声刺激下の脳活動による音声特徴量の推定への取り組み2020

    • Author(s)
      漆原理乃、山口裕人、中井智也、西本伸志、小林一郎
    • Organizer
      第26回言語処理学会年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 画像刺激時の脳活動データを用いた脳内情報解読への取り組み2020

    • Author(s)
      張嘉瑩、小林一郎
    • Organizer
      第26回言語処理学会年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Brain-mediated Transfer Learning of Convolutional Neural Networks2020

    • Author(s)
      Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M, Nishimoto S
    • Organizer
      Thirty-Fourth AAAI Conference on Artificial Intelligence
    • Related Report
      2019 Annual Research Report
  • [Presentation] 音声刺激下の脳活動情報からのテキスト生成への取り組み2019

    • Author(s)
      漆原理乃, 小林一郎
    • Organizer
      言語処理学会第25回年次大会(NLP2019)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 音声刺激による脳活動の言語解読への取り組み2019

    • Author(s)
      漆原理乃,小林一郎,山口裕人,中井智也,西本 伸志
    • Organizer
      2019年度人工知能学会全国大会(第33回)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 層学習を用いた動画刺激時の脳活動データからの文生成2019

    • Author(s)
      嘉瑩,西田知史,西本伸志,小林 一郎
    • Organizer
      2019年度人工知能学会全国大会(第33回)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 音声刺激を用いた脳内言語情報抽出への取り組み2019

    • Author(s)
      漆原理乃, 山口裕人, 中井智也, 西本伸志, 小林一郎
    • Organizer
      第35回ファジィシステムシンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] nalysis of Correspondence Relationship between Brain Activity and Semantic Representation2019

    • Author(s)
      Kana Ozaki, Satoshi Nishida, Shinji Nishimoto, Hideki Asoh, and Ichiro Kobayashi
    • Organizer
      Cognitive Computational Neuroscience 2019
    • Related Report
      2019 Annual Research Report
  • [Presentation] A Comprehensive Analysis of Semantic Compositionality in Text-to-Image Generation2019

    • Author(s)
      Chihiro Fujiyama and Ichiro Kobayashi
    • Organizer
      Thirty-third Conference on Neural Information Processing Systems, Workshop on Visually Grounded Interaction and Language
    • Related Report
      2019 Annual Research Report
  • [Presentation] 異被験者間の脳活動データ相互変換による擬似データ作成2018

    • Author(s)
      張 嘉瑩,小林 一郎,西本 伸志,西田 知史,麻生 英樹
    • Organizer
      2018年度人工知能学会全国大会(第32回)
    • Related Report
      2018 Annual Research Report
  • [Presentation] 脳活動と分散表現による意味表象へのスパースコーディング適用により獲得された辞書基底の分析2018

    • Author(s)
      川瀬 千晶,小林 一郎,西本 伸志,西田 知史,麻生 英樹
    • Organizer
      第32回人工知能学会全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 異被験者間の脳活動データにおける対応関係に基づく類似データ作成2018

    • Author(s)
      張嘉瑩,小林一郎
    • Organizer
      第34回ファジィシステムシンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] fMRIによるヒト脳情報表現の定量理解とその応用2018

    • Author(s)
      西田知史
    • Organizer
      SSKセミナー「脳科学のビジネス、組織へのインパクト」
    • Related Report
      2017 Annual Research Report
  • [Presentation] Linking neuroscience and machine learning via latent features of natural stimuli2017

    • Author(s)
      1)Nishimoto S
    • Organizer
      Gatsby-Kakenhi Joint Workshop on AI and Neuroscience
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] スパースコーディングを用いた脳活動の意味表象推定に関する精度向上への取り組み2017

    • Author(s)
      川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      第31回人工知能学会全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層学習による画像刺激時のfMRI脳活動データからの文生成2017

    • Author(s)
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      第31回人工知能学会全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 大脳皮質における予測符号化を模倣した動画像予測モデルと脳活動の相関に関する考察2017

    • Author(s)
      藤山千紘, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      第31回人工知能学会全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 自然知覚を司るヒト脳内情報表現の定量と解読2017

    • Author(s)
      西本伸志
    • Organizer
      新学術領域「適応回路シフト」第4回研究戦略ワークショップ
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] ヒト脳内情報表現の定量理解2017

    • Author(s)
      西本伸志
    • Organizer
      第22回大阪大学数理・データ科学セミナー
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Connecting natural experiences and the brain2017

    • Author(s)
      Nishimoto S
    • Organizer
      RIKEN BSI Summer Program 2017
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Reverse inference from the perspective of quantitative modeling approaches2017

    • Author(s)
      Nishimoto S
    • Organizer
      第40回日本神経科学大会シンポジウム
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Functional architecture for image statistics in macaque V42017

    • Author(s)
      Hatanaka G, Ikezoe K, Takeuchi RF, Inakgaki M, Nishimoto S, Fujita I
    • Organizer
      第40回日本神経科学大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Relationship of tuning strength and local tuning diversity of neurons in primate V1 and V42017

    • Author(s)
      Takeuchi RF, Ikezoe K, Nishimoto S, Fujita I
    • Organizer
      第40回日本神経科学大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Voxelwise modeling for human cortical representations of impression during natural visual experiences2017

    • Author(s)
      西田知史, 西本伸志
    • Organizer
      第1回ヒト脳イメージング研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層学習を用いた画像刺激下の脳活動情報からの文生成2017

    • Author(s)
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      第33回ファジィシステムシンポジウム
    • Related Report
      2017 Annual Research Report
  • [Presentation] 大脳皮質における予測符号化を模倣した深層動画像予測モデルに関する考察2017

    • Author(s)
      藤山千紘, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      第33回ファジィシステムシンポジウム
    • Related Report
      2017 Annual Research Report
  • [Presentation] 脳活動のfMRIデータへの疎性コーディング適用による意味表象推定2017

    • Author(s)
      川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • Organizer
      第33回ファジィシステムシンポジウム
    • Related Report
      2017 Annual Research Report
  • [Presentation] Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli2017

    • Author(s)
      Matsuo E, Kobayashi I, Nishimoto S, Nishida S, Asoh H
    • Organizer
      NIPS 2017 Workshop on Visually-Grounded Interaction and Language
    • Related Report
      2017 Annual Research Report
  • [Presentation] ヒト脳活動のデコーディング:自然視知覚の脳内情報表現2017

    • Author(s)
      西本伸志
    • Organizer
      次世代脳プロジェクト・冬のシンポジウム2017
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] 脳情報を読み解く:脳とAI の融合に向けて2017

    • Author(s)
      西田知史
    • Organizer
      第7回 CiNetシンポジウム
    • Related Report
      2017 Annual Research Report
  • [Book] 機械学習・人工知能が明らかにする脳内情報表現, 実験医学別冊「あなたのラボにAI(人工知能)×ロボットがやってくる」2017

    • Author(s)
      西本伸志
    • Publisher
      羊土社
    • ISBN
      4758122369
    • Related Report
      2017 Annual Research Report

URL: 

Published: 2017-04-28   Modified: 2021-02-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi