Self-supervised feature construction methods for multi-modal neuroimaging data

2023 Fiscal Year Final Research Report

• Project/Area Number: 21H03516
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61040:Soft computing-related
• Research Institution: Advanced Telecommunications Research Institute International
• Principal Investigator: KAWANABE Motoaki 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (30272389)
• Co-Investigator(Kenkyū-buntansha): 宮西 大樹 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究員 (10737521) ; 平山 淳一郎 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80512269)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 人間情報学 / マルチモーダル脳イメージング / 自己教師あり学習 / 転移学習 / 脳活動ダイナミクス

Outline of Final Research Achievements

In order to address the issue that the statistical properties of neuroimaging data vary substantially between different subjects and sessions, we developed a transfer learning method for brain information inference named TSMNet which can calibrate these inter-domain differences. Then, in order to extract information representations shared by multimodal data acquired from EEG and fMRI, we developed a self-supervised representation learning method named DeepGeoCCA, by combining nonlinear filtering using deep learning with a geometric approach that matches the statistical properties of neuroimaging data. We applied to the classification problem of cognitive load on ATR's EEG-fMRI simultaneous recording data, and showed that it has high generalizability across different subjects by incorporating TSMNet into its EEG model.

Free Research Field

ソフトコンピューティング

Academic Significance and Societal Importance of the Research Achievements

本研究で開発されたDeepGeoCCAに基づくマルチモーダルデータの自己教師あり学習法は、ATRが実施中のプロジェクトで活用されており、メンタルヘルスや認知機能の維持・向上に資するブレイン・マシン・インタフェースの研究を通じて社会への貢献が期待される。また、脳イメージングデータのみならず、ScanQAのように、様々な状況が考えうる複雑な実環境データに対して、深層学習の性能向上などの波及効果が期待できる。