• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

脳内情報解読に基づく視覚野と言語野の連関機能解明への挑戦

Publicly Offered Research

Project AreaBrain information dynamics underlying multi-area interconnectivity and parallel processing
Project/Area Number 18H05118
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Research InstitutionOchanomizu University

Principal Investigator

小林 一郎  お茶の水女子大学, 基幹研究院, 教授 (60281440)

Project Period (FY) 2018-04-01 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2019: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2018: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Keywords深層学習モデル / fMRIデータ / 脳内解読 / 音声刺激 / 脳内状態推定 / 脳内情報解読 / マルチモーダル情報処理
Outline of Annual Research Achievements

自然動画像と言語の情報処理を連関しながら行う脳内メカニズムを深層ニューラルネットワーク(DNN)によるモデルを作業モデルとして解明することを目的とし、視覚野と言語野の連関に基づいてヒト脳の内部に生成された高次意味表象をDNNとの対応関係の学習を通じてDNNの中間層の状態として抽出することを試みた.具体的に得られた知見として、画像刺激に基づく脳活動データからの文生成においては、fMRIで取得されるデータが少ないため、脳活動データを有効活用する技術として、擬似的にデータを拡張する手法を適用し、増強された擬似データを用いて文生成を行なったが、文生成における精度の飛躍的向上には繋がらなかった.そのため、画像刺激の脳活動データに対してキャプションが付いている公開データBOLD5000を用いて、さらにデータを増強し実験を進め、精度の向上を確認した.
音声刺激に基づく脳活動データからの文生成においては、動画像刺激からの文生成の時と同じように、深層学習モデル(音声の場合は、Speech-to-Textを扱うモデル、とくにEncoderとDecoderを End-to-Endで学習できるモデルとしてESPnetを援用することにより、少ないfMRIデータの有効活用を行う脳内情報解読手法の構築を進めた.脳活動データから特徴量推定のモデルをRidge回帰から多層パーセプトロンに変更し推定することにより、観測された特徴量と推定された特徴量の間において相関性の向上が確認された.これを用いて音声刺激下の脳活動データから、ヒトが脳内で想起した言葉を抽出する脳内情報解読手法の開発を進めた.

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • Research Products

    (10 results)

All 2020 2019

All Presentation (10 results) (of which Invited: 1 results)

  • [Presentation] 音声刺激下の脳活動情報による音声特徴量の推定への取り組み2020

    • Author(s)
      漆原理乃, 山口裕人, 中井智也, 西本伸志, 小林一郎
    • Organizer
      言語処理学会 第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 画像刺激時の脳活動データを用いた脳内情報解読への取り組み2020

    • Author(s)
      張嘉瑩, 小林一郎
    • Organizer
      言語処理学会 第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 音声刺激を用いた脳内言語情報抽出への取り組み2019

    • Author(s)
      漆原理乃, 山口裕人, 中井智也, 西本伸志, 小林一郎
    • Organizer
      第35回ファジィシステムシンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] 音声刺激による脳活動の言語解読への取り組み2019

    • Author(s)
      漆原理乃,小林一郎,山口裕人,中井智也,西本 伸志
    • Organizer
      2019年度人工知能学会全国大会(第33回)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 深層学習を用いた動画刺激時の脳活動データからの文生成2019

    • Author(s)
      張嘉瑩, 西田知史, 西本伸志, 小林一郎
    • Organizer
      2019年度人工知能学会全国大会(第33回)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 音声刺激下の脳活動情報からのテキスト生成への取り組み2019

    • Author(s)
      漆原理乃, 小林一郎
    • Organizer
      言語処理学会第25回年次大会(NLP2019)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 機械学習を用いた脳内情報解読と脳機能解明へ向けた取り組み2019

    • Author(s)
      小林一郎
    • Organizer
      第22回認知神経心理学研究会
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 音声刺激下の脳活動情報からのテキスト生成への取り組み2019

    • Author(s)
      漆原理乃,小林一郎
    • Organizer
      言語処理学会第25回年次大会(NLP2019)
    • Related Report
      2018 Annual Research Report
  • [Presentation] 音声刺激による脳活動の言語解読への取り組み2019

    • Author(s)
      漆原 理乃,小林 一郎, 山口 裕人, 中井 智也, 西本 伸志
    • Organizer
      2019年度人工知能学会全国大会(第33回)
    • Related Report
      2018 Annual Research Report
  • [Presentation] 深層学習を用いた動画刺激時の脳活動データからの文生成2019

    • Author(s)
      張 嘉瑩, 西田 知史, 西本 伸志, 小林 一郎
    • Organizer
      2019年度人工知能学会全国大会(第33回)
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-04-23   Modified: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi