Deeping Brain Decoding Technology and Development of its Application based on Understanding the Mechanism of Dealing with Multimodal Information in the Brain

• Project/Area Number: 17H01797
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Soft computing
• Research Institution: Ochanomizu University
• Principal Investigator: Kobayashi Ichiro お茶の水女子大学, 基幹研究院, 教授 (60281440)
• Co-Investigator(Kenkyū-buntansha): 西本 伸志 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455) ; 西田 知史 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (90751933)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000); Fiscal Year 2019: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2018: ¥8,060,000 (Direct Cost: ¥6,200,000、Indirect Cost: ¥1,860,000); Fiscal Year 2017: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
• Keywords: 脳内情報解読 / 深層学習モデル / fMRI / 脳内状態推定 / 予測符号化 / fMRIデータ / 脳内解読 / マルチモーダル情報処理 / テキスト生成 / 脳活動データ解析 / マルチモーダル自己符号化器 / ベイズ学習と深層学習の統合 / 文生成

Outline of Final Research Achievements

As for the brain decoding method, we have proposed a data augment method by using a multimodal deep learning model to tackle the lack of enough data to train the parameters of a deep learning model. We have also investigated a fundamental mechanism to generate an image from a sentence. We have furthermore verified that there is a prediction ability in the brain by confirming correlation between the representation layers and the brain activity data observed by means of fMRI.

Academic Significance and Societal Importance of the Research Achievements

fMRIデータを使う脳神経科学の研究において、データ取得は高価であり、近年発達している深層学習を用いた研究に対して、十分なデータを揃えることができなかった．本研究においては、それを解消する一つの方法論を示した．また、脳におけるマルチモーダル情報処理の基礎的な検討として、言語と画像の対応関係を意味的な立場で解析した結果を示すことができた．さらに、予測符号化という仮説において実験的にその存在を裏付ける結果を得ることができた．これらは脳神経科学に対するデータサイエンスの視点からの研究の方向性を示すものと考える．

Research Products

• [Journal Article] Mapping stimulus feature selectivity in macaque V1 by two-photon Ca 2+ imaging: Encoding-model analysis of fluorescence responses to natural movies (2018)
  • Author(s): Ikezoe Koji、Amano Mahya、Nishimoto Shinji、Fujita Ichiro
  • Journal Title: NeuroImage Volume: 印刷中 Pages: 1-12
  • DOI: 10.1016/j.neuroimage.2018.01.009
  • Peer Reviewed / Open Access
• [Journal Article] 脳情報を読み解く (2018)
  • Author(s): 西本伸志
  • Journal Title: 情報処理 Volume: 59(1) Pages: 48-53
  • Open Access
• [Journal Article] Decoding naturalistic experiences from human brain activity via distributed representations of words. (2018)
  • Author(s): Nishida S, Nishimoto S
  • Journal Title: NeuroImage Volume: － Pages: 232-242
  • DOI: 10.1016/j.neuroimage.2017.08.017
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] 意味認知と脳内情報表現 (2017)
  • Author(s): 西田知史, 西本伸志
  • Journal Title: 人工知能 Volume: 32(6) Pages: 857-862
  • NAID: 130007917371
• [Presentation] 音声刺激下の脳活動による音声特徴量の推定への取り組み (2020)
  • Author(s): 漆原理乃、山口裕人、中井智也、西本伸志、小林一郎
  • Organizer: 第26回言語処理学会年次大会
• [Presentation] 画像刺激時の脳活動データを用いた脳内情報解読への取り組み (2020)
  • Author(s): 張嘉瑩、小林一郎
  • Organizer: 第26回言語処理学会年次大会
• [Presentation] Brain-mediated Transfer Learning of Convolutional Neural Networks (2020)
  • Author(s): Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M, Nishimoto S
  • Organizer: Thirty-Fourth AAAI Conference on Artificial Intelligence
• [Presentation] 音声刺激下の脳活動情報からのテキスト生成への取り組み (2019)
  • Author(s): 漆原理乃, 小林一郎
  • Organizer: 言語処理学会第25回年次大会(NLP2019)
• [Presentation] 音声刺激による脳活動の言語解読への取り組み (2019)
  • Author(s): 漆原理乃,小林一郎,山口裕人,中井智也,西本 伸志
  • Organizer: 2019年度人工知能学会全国大会（第33回）
• [Presentation] 層学習を用いた動画刺激時の脳活動データからの文生成 (2019)
  • Author(s): 嘉瑩,西田知史,西本伸志,小林 一郎
  • Organizer: 2019年度人工知能学会全国大会（第33回）
• [Presentation] 音声刺激を用いた脳内言語情報抽出への取り組み (2019)
  • Author(s): 漆原理乃, 山口裕人, 中井智也, 西本伸志, 小林一郎
  • Organizer: 第35回ファジィシステムシンポジウム
• [Presentation] nalysis of Correspondence Relationship between Brain Activity and Semantic Representation (2019)
  • Author(s): Kana Ozaki, Satoshi Nishida, Shinji Nishimoto, Hideki Asoh, and Ichiro Kobayashi
  • Organizer: Cognitive Computational Neuroscience 2019
• [Presentation] A Comprehensive Analysis of Semantic Compositionality in Text-to-Image Generation (2019)
  • Author(s): Chihiro Fujiyama and Ichiro Kobayashi
  • Organizer: Thirty-third Conference on Neural Information Processing Systems, Workshop on Visually Grounded Interaction and Language
• [Presentation] 異被験者間の脳活動データ相互変換による擬似データ作成 (2018)
  • Author(s): 張 嘉瑩，小林 一郎，西本 伸志，西田 知史，麻生 英樹
  • Organizer: 2018年度人工知能学会全国大会（第32回）
• [Presentation] 脳活動と分散表現による意味表象へのスパースコーディング適用により獲得された辞書基底の分析 (2018)
  • Author(s): 川瀬 千晶，小林 一郎，西本 伸志，西田 知史，麻生 英樹
  • Organizer: 第32回人工知能学会全国大会
• [Presentation] 異被験者間の脳活動データにおける対応関係に基づく類似データ作成 (2018)
  • Author(s): 張嘉瑩，小林一郎
  • Organizer: 第34回ファジィシステムシンポジウム
• [Presentation] fMRIによるヒト脳情報表現の定量理解とその応用 (2018)
  • Author(s): 西田知史
  • Organizer: SSKセミナー「脳科学のビジネス、組織へのインパクト」
• [Presentation] Linking neuroscience and machine learning via latent features of natural stimuli (2017)
  • Author(s): 1)Nishimoto S
  • Organizer: Gatsby-Kakenhi Joint Workshop on AI and Neuroscience
  • Int'l Joint Research / Invited
• [Presentation] スパースコーディングを用いた脳活動の意味表象推定に関する精度向上への取り組み (2017)
  • Author(s): 川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
  • Organizer: 第31回人工知能学会全国大会
• [Presentation] 深層学習による画像刺激時のfMRI脳活動データからの文生成 (2017)
  • Author(s): 松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
  • Organizer: 第31回人工知能学会全国大会
• [Presentation] 大脳皮質における予測符号化を模倣した動画像予測モデルと脳活動の相関に関する考察 (2017)
  • Author(s): 藤山千紘, 小林一郎, 西本伸志, 西田知史, 麻生英樹
  • Organizer: 第31回人工知能学会全国大会
• [Presentation] 自然知覚を司るヒト脳内情報表現の定量と解読 (2017)
  • Author(s): 西本伸志
  • Organizer: 新学術領域「適応回路シフト」第4回研究戦略ワークショップ
  • Invited
• [Presentation] ヒト脳内情報表現の定量理解 (2017)
  • Author(s): 西本伸志
  • Organizer: 第22回大阪大学数理・データ科学セミナー
  • Invited
• [Presentation] Connecting natural experiences and the brain (2017)
  • Author(s): Nishimoto S
  • Organizer: RIKEN BSI Summer Program 2017
  • Invited
• [Presentation] Reverse inference from the perspective of quantitative modeling approaches (2017)
  • Author(s): Nishimoto S
  • Organizer: 第40回日本神経科学大会シンポジウム
  • Invited
• [Presentation] Functional architecture for image statistics in macaque V4 (2017)
  • Author(s): Hatanaka G, Ikezoe K, Takeuchi RF, Inakgaki M, Nishimoto S, Fujita I
  • Organizer: 第40回日本神経科学大会
• [Presentation] Relationship of tuning strength and local tuning diversity of neurons in primate V1 and V4 (2017)
  • Author(s): Takeuchi RF, Ikezoe K, Nishimoto S, Fujita I
  • Organizer: 第40回日本神経科学大会
• [Presentation] Voxelwise modeling for human cortical representations of impression during natural visual experiences (2017)
  • Author(s): 西田知史, 西本伸志
  • Organizer: 第1回ヒト脳イメージング研究会
• [Presentation] 深層学習を用いた画像刺激下の脳活動情報からの文生成 (2017)
  • Author(s): 松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
  • Organizer: 第33回ファジィシステムシンポジウム
• [Presentation] 大脳皮質における予測符号化を模倣した深層動画像予測モデルに関する考察 (2017)
  • Author(s): 藤山千紘, 小林一郎, 西本伸志, 西田知史, 麻生英樹
  • Organizer: 第33回ファジィシステムシンポジウム
• [Presentation] 脳活動のfMRIデータへの疎性コーディング適用による意味表象推定 (2017)
  • Author(s): 川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
  • Organizer: 第33回ファジィシステムシンポジウム
• [Presentation] Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli (2017)
  • Author(s): Matsuo E, Kobayashi I, Nishimoto S, Nishida S, Asoh H
  • Organizer: NIPS 2017 Workshop on Visually-Grounded Interaction and Language
• [Presentation] ヒト脳活動のデコーディング：自然視知覚の脳内情報表現 (2017)
  • Author(s): 西本伸志
  • Organizer: 次世代脳プロジェクト・冬のシンポジウム2017
  • Invited
• [Presentation] 脳情報を読み解く：脳とAI の融合に向けて (2017)
  • Author(s): 西田知史
  • Organizer: 第7回 CiNetシンポジウム
• [Book] 機械学習・人工知能が明らかにする脳内情報表現, 実験医学別冊「あなたのラボにAI（人工知能）×ロボットがやってくる」 (2017)
  • Author(s): 西本伸志
  • Publisher: 羊土社
  • ISBN: 4758122369