Deeping Brain Decoding Technology and Development of its Application based on Understanding the Mechanism of Dealing with Multimodal Information in the Brain

2019 Fiscal Year Final Research Report

• Project/Area Number: 17H01797
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Soft computing
• Research Institution: Ochanomizu University
• Principal Investigator: Kobayashi Ichiro お茶の水女子大学, 基幹研究院, 教授 (60281440)
• Co-Investigator(Kenkyū-buntansha): 西本 伸志 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455) ; 西田 知史 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (90751933)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 脳内情報解読 / 深層学習モデル / fMRI / 脳内状態推定 / 予測符号化

Outline of Final Research Achievements

As for the brain decoding method, we have proposed a data augment method by using a multimodal deep learning model to tackle the lack of enough data to train the parameters of a deep learning model. We have also investigated a fundamental mechanism to generate an image from a sentence. We have furthermore verified that there is a prediction ability in the brain by confirming correlation between the representation layers and the brain activity data observed by means of fMRI.

Free Research Field

言語情報処理、知能情報処理

Academic Significance and Societal Importance of the Research Achievements

fMRIデータを使う脳神経科学の研究において、データ取得は高価であり、近年発達している深層学習を用いた研究に対して、十分なデータを揃えることができなかった．本研究においては、それを解消する一つの方法論を示した．また、脳におけるマルチモーダル情報処理の基礎的な検討として、言語と画像の対応関係を意味的な立場で解析した結果を示すことができた．さらに、予測符号化という仮説において実験的にその存在を裏付ける結果を得ることができた．これらは脳神経科学に対するデータサイエンスの視点からの研究の方向性を示すものと考える．