• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

多様層情報の脳内処理機構の解明に基づく脳内情報読解技術の深化と応用技術の開発

研究課題

研究課題/領域番号 17H01797
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
研究分野 ソフトコンピューティング
研究機関お茶の水女子大学

研究代表者

小林 一郎  お茶の水女子大学, 基幹研究院, 教授 (60281440)

研究分担者 西本 伸志  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455)
西田 知史  国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (90751933)
研究期間 (年度) 2017-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2019年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2018年度: 8,060千円 (直接経費: 6,200千円、間接経費: 1,860千円)
2017年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
キーワード脳内情報解読 / 深層学習モデル / fMRI / 脳内状態推定 / 予測符号化 / fMRIデータ / 脳内解読 / マルチモーダル情報処理 / テキスト生成 / 脳活動データ解析 / マルチモーダル自己符号化器 / ベイズ学習と深層学習の統合 / 文生成
研究成果の概要

深層学習を用いた脳内情報解読手法において、学習モデルのパラメータ学習において問題となっていたデータの不足に対して、マルチモーダル深層学習モデルを利用することにより擬似的にデータを増やす手法を提案した.また、言語から画像生成をするための基礎的なメカニズムについて調査を行なった.さらに、脳活動データと予測符号化のモデルの中間表現の状態との相関関係があることの確認を通じて.脳内に予測機能があることを検証した.

研究成果の学術的意義や社会的意義

fMRIデータを使う脳神経科学の研究において、データ取得は高価であり、近年発達している深層学習を用いた研究に対して、十分なデータを揃えることができなかった.本研究においては、それを解消する一つの方法論を示した.また、脳におけるマルチモーダル情報処理の基礎的な検討として、言語と画像の対応関係を意味的な立場で解析した結果を示すことができた.さらに、予測符号化という仮説において実験的にその存在を裏付ける結果を得ることができた.これらは脳神経科学に対するデータサイエンスの視点からの研究の方向性を示すものと考える.

報告書

(4件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実績報告書
  • 2017 実績報告書
  • 研究成果

    (35件)

すべて 2020 2019 2018 2017

すべて 雑誌論文 (4件) (うち国際共著 1件、 査読あり 2件、 オープンアクセス 3件) 学会発表 (30件) (うち国際学会 1件、 招待講演 6件) 図書 (1件)

  • [雑誌論文] Mapping stimulus feature selectivity in macaque V1 by two-photon Ca 2+ imaging: Encoding-model analysis of fluorescence responses to natural movies2018

    • 著者名/発表者名
      Ikezoe Koji、Amano Mahya、Nishimoto Shinji、Fujita Ichiro
    • 雑誌名

      NeuroImage

      巻: 印刷中 ページ: 1-12

    • DOI

      10.1016/j.neuroimage.2018.01.009

    • 関連する報告書
      2017 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 脳情報を読み解く2018

    • 著者名/発表者名
      西本伸志
    • 雑誌名

      情報処理

      巻: 59(1) ページ: 48-53

    • 関連する報告書
      2017 実績報告書
    • オープンアクセス
  • [雑誌論文] Decoding naturalistic experiences from human brain activity via distributed representations of words.2018

    • 著者名/発表者名
      Nishida S, Nishimoto S
    • 雑誌名

      NeuroImage

      巻: - ページ: 232-242

    • DOI

      10.1016/j.neuroimage.2017.08.017

    • 関連する報告書
      2017 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] 意味認知と脳内情報表現2017

    • 著者名/発表者名
      西田知史, 西本伸志
    • 雑誌名

      人工知能

      巻: 32(6) ページ: 857-862

    • NAID

      130007917371

    • 関連する報告書
      2017 実績報告書
  • [学会発表] 音声刺激下の脳活動による音声特徴量の推定への取り組み2020

    • 著者名/発表者名
      漆原理乃、山口裕人、中井智也、西本伸志、小林一郎
    • 学会等名
      第26回言語処理学会年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 画像刺激時の脳活動データを用いた脳内情報解読への取り組み2020

    • 著者名/発表者名
      張嘉瑩、小林一郎
    • 学会等名
      第26回言語処理学会年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Brain-mediated Transfer Learning of Convolutional Neural Networks2020

    • 著者名/発表者名
      Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M, Nishimoto S
    • 学会等名
      Thirty-Fourth AAAI Conference on Artificial Intelligence
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 音声刺激下の脳活動情報からのテキスト生成への取り組み2019

    • 著者名/発表者名
      漆原理乃, 小林一郎
    • 学会等名
      言語処理学会第25回年次大会(NLP2019)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 音声刺激による脳活動の言語解読への取り組み2019

    • 著者名/発表者名
      漆原理乃,小林一郎,山口裕人,中井智也,西本 伸志
    • 学会等名
      2019年度人工知能学会全国大会(第33回)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 層学習を用いた動画刺激時の脳活動データからの文生成2019

    • 著者名/発表者名
      嘉瑩,西田知史,西本伸志,小林 一郎
    • 学会等名
      2019年度人工知能学会全国大会(第33回)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 音声刺激を用いた脳内言語情報抽出への取り組み2019

    • 著者名/発表者名
      漆原理乃, 山口裕人, 中井智也, 西本伸志, 小林一郎
    • 学会等名
      第35回ファジィシステムシンポジウム
    • 関連する報告書
      2019 実績報告書
  • [学会発表] nalysis of Correspondence Relationship between Brain Activity and Semantic Representation2019

    • 著者名/発表者名
      Kana Ozaki, Satoshi Nishida, Shinji Nishimoto, Hideki Asoh, and Ichiro Kobayashi
    • 学会等名
      Cognitive Computational Neuroscience 2019
    • 関連する報告書
      2019 実績報告書
  • [学会発表] A Comprehensive Analysis of Semantic Compositionality in Text-to-Image Generation2019

    • 著者名/発表者名
      Chihiro Fujiyama and Ichiro Kobayashi
    • 学会等名
      Thirty-third Conference on Neural Information Processing Systems, Workshop on Visually Grounded Interaction and Language
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 異被験者間の脳活動データ相互変換による擬似データ作成2018

    • 著者名/発表者名
      張 嘉瑩,小林 一郎,西本 伸志,西田 知史,麻生 英樹
    • 学会等名
      2018年度人工知能学会全国大会(第32回)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 脳活動と分散表現による意味表象へのスパースコーディング適用により獲得された辞書基底の分析2018

    • 著者名/発表者名
      川瀬 千晶,小林 一郎,西本 伸志,西田 知史,麻生 英樹
    • 学会等名
      第32回人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 異被験者間の脳活動データにおける対応関係に基づく類似データ作成2018

    • 著者名/発表者名
      張嘉瑩,小林一郎
    • 学会等名
      第34回ファジィシステムシンポジウム
    • 関連する報告書
      2018 実績報告書
  • [学会発表] fMRIによるヒト脳情報表現の定量理解とその応用2018

    • 著者名/発表者名
      西田知史
    • 学会等名
      SSKセミナー「脳科学のビジネス、組織へのインパクト」
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Linking neuroscience and machine learning via latent features of natural stimuli2017

    • 著者名/発表者名
      1)Nishimoto S
    • 学会等名
      Gatsby-Kakenhi Joint Workshop on AI and Neuroscience
    • 関連する報告書
      2017 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] スパースコーディングを用いた脳活動の意味表象推定に関する精度向上への取り組み2017

    • 著者名/発表者名
      川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • 学会等名
      第31回人工知能学会全国大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 深層学習による画像刺激時のfMRI脳活動データからの文生成2017

    • 著者名/発表者名
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • 学会等名
      第31回人工知能学会全国大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 大脳皮質における予測符号化を模倣した動画像予測モデルと脳活動の相関に関する考察2017

    • 著者名/発表者名
      藤山千紘, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • 学会等名
      第31回人工知能学会全国大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 自然知覚を司るヒト脳内情報表現の定量と解読2017

    • 著者名/発表者名
      西本伸志
    • 学会等名
      新学術領域「適応回路シフト」第4回研究戦略ワークショップ
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [学会発表] ヒト脳内情報表現の定量理解2017

    • 著者名/発表者名
      西本伸志
    • 学会等名
      第22回大阪大学数理・データ科学セミナー
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [学会発表] Connecting natural experiences and the brain2017

    • 著者名/発表者名
      Nishimoto S
    • 学会等名
      RIKEN BSI Summer Program 2017
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [学会発表] Reverse inference from the perspective of quantitative modeling approaches2017

    • 著者名/発表者名
      Nishimoto S
    • 学会等名
      第40回日本神経科学大会シンポジウム
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [学会発表] Functional architecture for image statistics in macaque V42017

    • 著者名/発表者名
      Hatanaka G, Ikezoe K, Takeuchi RF, Inakgaki M, Nishimoto S, Fujita I
    • 学会等名
      第40回日本神経科学大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Relationship of tuning strength and local tuning diversity of neurons in primate V1 and V42017

    • 著者名/発表者名
      Takeuchi RF, Ikezoe K, Nishimoto S, Fujita I
    • 学会等名
      第40回日本神経科学大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Voxelwise modeling for human cortical representations of impression during natural visual experiences2017

    • 著者名/発表者名
      西田知史, 西本伸志
    • 学会等名
      第1回ヒト脳イメージング研究会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 深層学習を用いた画像刺激下の脳活動情報からの文生成2017

    • 著者名/発表者名
      松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • 学会等名
      第33回ファジィシステムシンポジウム
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 大脳皮質における予測符号化を模倣した深層動画像予測モデルに関する考察2017

    • 著者名/発表者名
      藤山千紘, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • 学会等名
      第33回ファジィシステムシンポジウム
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 脳活動のfMRIデータへの疎性コーディング適用による意味表象推定2017

    • 著者名/発表者名
      川瀬千晶, 小林一郎, 西本伸志, 西田知史, 麻生英樹
    • 学会等名
      第33回ファジィシステムシンポジウム
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli2017

    • 著者名/発表者名
      Matsuo E, Kobayashi I, Nishimoto S, Nishida S, Asoh H
    • 学会等名
      NIPS 2017 Workshop on Visually-Grounded Interaction and Language
    • 関連する報告書
      2017 実績報告書
  • [学会発表] ヒト脳活動のデコーディング:自然視知覚の脳内情報表現2017

    • 著者名/発表者名
      西本伸志
    • 学会等名
      次世代脳プロジェクト・冬のシンポジウム2017
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [学会発表] 脳情報を読み解く:脳とAI の融合に向けて2017

    • 著者名/発表者名
      西田知史
    • 学会等名
      第7回 CiNetシンポジウム
    • 関連する報告書
      2017 実績報告書
  • [図書] 機械学習・人工知能が明らかにする脳内情報表現, 実験医学別冊「あなたのラボにAI(人工知能)×ロボットがやってくる」2017

    • 著者名/発表者名
      西本伸志
    • 出版者
      羊土社
    • ISBN
      4758122369
    • 関連する報告書
      2017 実績報告書

URL: 

公開日: 2017-04-28   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi