Data-mining of shitsukan representation using brain, image, and text data

2019 Fiscal Year Final Research Report

• Project Area: Understanding human recognition of material properties for innovation in SHITSUKAN science and technology
• Project/Area Number: 15H05920
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Advanced Telecommunications Research Institute International
• Principal Investigator: Kamitani Yukiyasu 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
• Project Period (FY): 2015-06-29 – 2020-03-31
• Keywords: ブレイン・デコーディング / 視覚 / ブレイン・マシン・インターフェース / fMRI / 深層ニューラルネットワーク

Outline of Final Research Achievements

We established a data-mining-based approach to discover and utilize the representation of shitsukan information in the human brain. We developed a method to predict deep neural network (DNN) features of an image from the induced brain activity pattern (brain-to-DNN signal translation), and found hierarchical homology between the brain and DNN. We also developed methods for reconstructing the viewed image using DNN features predicted from brain activity, and succeeded in re-creating texture and material images only from the brain activity measured while they were viewed.

Free Research Field

認知神経科学

Academic Significance and Societal Importance of the Research Achievements

本プロジェクトの成果は、質感を含む知覚内容を今までにない精度で脳活動から解読できることを実証するとともに、脳－DNN間の信号変換技術にもとづくブレイン・デコーディングのポテンシャルを示している。同様のアプローチは、画像だけでなく、動画や音声、テキストなど、さまざまな刺激に対する脳活動からの情報解読に応用可能で、ブレイン－マシン・インターフェイスの技術の開発にも貢献することが期待される。また、脳との階層的相同性を定量化するBHスコアは、今後の脳型AI開発の指針となると考えられる。