Developing brain-integrated AI performing multimodal pattern recognition through a brain information space

2023 Fiscal Year Final Research Report

• Project/Area Number: 21H03535
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61060:Kansei informatics-related
• Research Institution: National Institute of Information and Communications Technology
• Principal Investigator: Nishida Satoshi 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (90751933)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: マルチモーダル認識 / 視覚 / 聴覚 / 言語 / 脳融合 / 脳情報空間 / AI / fMRI

Outline of Final Research Achievements

AI technology has made remarkable progress in recent years. However, it is a widely held view among researchers that developing AI which mimics or utilizes brain processes is crucial. In this study, we expanded upon the brain integration technique initially developed by the principal investigator. We devised a method to integrate the internal representations of AI corresponding to different modalities (visual, auditory, and linguistic) with brain information. This integration uses a mathematical model based on brain measurement data for recognition purposes. We have demonstrated that this method enhances the AI’s performance in estimating various labels associated with audiovisual and verbal inputs. Improvements were also noted in recognition tasks that involve integrated audiovisual inputs, indicating that the developed method is effective for multimodal recognition.

Free Research Field

認知神経科学

Academic Significance and Societal Importance of the Research Achievements

最新鋭のAI技術では、視覚情報を扱う大規模言語モデルのように、マルチモーダル認識を得意とするモデルが登場するようになってきた。ただし、脳はそれらと比べても極めてマルチモーダル認識を得意とする認識システムであり、マルチモーダル認識に脳情報を活用する手法はこれ以降も有効に利用されると期待する。特に、人間の複雑な認知が関わるような認識問題では、脳情報の利用が最適な解法となりうる。したがって、人間の認知を理解し、それに沿ってAIが振る舞うような、人間中心のAI社会を実現する基盤技術として、本研究で開発した脳情報を利用したマルチモーダル認識のための手法が大いに活用されると期待する。