Self-supervised feature construction methods for multi-modal neuroimaging data

2023 Fiscal Year Annual Research Report

• Project/Area Number: 21H03516
• Research Institution: Advanced Telecommunications Research Institute International
• Principal Investigator: 川鍋 一晃 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (30272389)
• Co-Investigator(Kenkyū-buntansha): 宮西 大樹 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究員 (10737521) ; 平山 淳一郎 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80512269)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 人間情報学 / マルチモーダル脳イメージング / 自己教師あり学習 / 転移学習 / 脳活動ダイナミクス

Outline of Annual Research Achievements

教師ラベルの少ないマルチモーダル脳イメージングデータに対して有効な、自己教師あり学習による特徴量構築法の開発を目的とし、本年度は、以下の3つの課題に取り組んだ。第一に、昨年度に開発した脳情報転移学習法TSMNetをマルチモーダルデータに拡張する研究を行った。具体的には、EEG-fMRI同時計測データの時間的対応関係を利用した自己教師あり学習により、両者に共通して表現されている情報を抽出することを目指して、DeepGeoCCAという機械学習法を開発した。この手法は、深層学習を利用した非線形フィルタリングと、脳イメージングデータの統計的性質に則した幾何学的アプローチを組み合わせることにより、正準相関分析 (CCA) を拡張したものである。さらに、応用上問題となる、異なる被験者やセッションでのドメイン間差を較正するために、脳情報転移学習法TSMNetを組み込んだ。DeepGeoCCAを作業記憶課題中のEEG-fMRI同時計測の、同一被験者・セッションのデータに適用したところ、高い相関を持つ共通特徴量が得られ、認知負荷度の判別問題で高い精度を達成した。さらに、異なるセッションや被験者に対しても、我々のアプローチは汎化性を持つことを示した。この成果は、人工知能のトップ会議ICLR2024、および脳イメージングの国際学会OHBM2024で発表予定である。第二に、fMRIのような3次元データと、EEGのような時系列データを情報統合するためのベンチマークデータCityReferを構築した。本成果論文は人工知能のトップ会議NeurIPS2023に採択された。第三に、異なるシーケンスで撮像された複数MRIスキャナのfMRIデータの統計的性質を比較した。データ間の統計的性質の差異をうまく較正することで、複数のデータベースを統合して、より精度の高い解析が可能となることが期待できる。

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Int'l Joint Research] Nanyang Technological University(シンガポール)
  • Country Name: SINGAPORE
  • Counterpart Institution: Nanyang Technological University
• [Int'l Joint Research] University of Sydney(オーストラリア)
  • Country Name: AUSTRALIA
  • Counterpart Institution: University of Sydney
• [Journal Article] Deep Geodesic Canonical Correlation Analysis for Covariance-Based Neuroimaging Data (2024)
  • Author(s): Ju, C., Kobler, R.J., Tang, L., Guan, C., Kawanabe, M.
  • Journal Title: Proceedings of the Twelfth International Conference on Learning Representations (ICLR2024) Volume: - Pages: accepted
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Cityrefer: geography-aware 3D visual grounding dataset on city-scale point cloud data (2023)
  • Author(s): Miyanishi, T., Kitamori, F., Kurita, S., Lee, J., Kawanabe, M., Inoue, N.
  • Journal Title: Advances in Neural Information Processing Systems 36 (NeurIPS 2023) Volume: 36 Pages: 77758--77770
  • Peer Reviewed / Open Access
• [Presentation] Deep Geodesic Canonical Correlation Analysis for Covariance-Based Neuroimaging Data (2024)
  • Author(s): Ju, C., Kobler, R.J., Tang, L., Guan, C., Kawanabe, M.
  • Organizer: The Twelfth International Conference on Learning Representations (ICLR2024)
  • Int'l Joint Research
• [Presentation] Learning latent representations from simultaneous EEG-fMRI (2024)
  • Author(s): Kobler, R., Kuroda, T., Ogawa, T., Ju, C., Kawanabe, M.
  • Organizer: the OHBM 2024 Annual Meeting
  • Int'l Joint Research
• [Presentation] Cityrefer: geography-aware 3D visual grounding dataset on city-scale point cloud data (2023)
  • Author(s): Miyanishi, T., Kitamori, F., Kurita, S., Lee, J., Kawanabe, M., Inoue, N.
  • Organizer: The Thirty-seventh Annual Conference on Neural Information Processing Systems (NeurIPS2023)
  • Int'l Joint Research
• [Presentation] TSMNet for BMI: inter-subject and session transfer and online, unsupervised adaptation (2023)
  • Author(s): Kobler, R., Hirayama, J., Zhao, Q., Kawanabe, M.
  • Organizer: 第10回日本BMI研究会
• [Presentation] 異なるシーケンスにおける課題中のfMRIデータの比較 (2023)
  • Author(s): 堤 聖月, 黒田 敏数, 小川 剛史, 岸 朋彦, Kobler Reinmar, 川鍋 一晃
  • Organizer: 第10回日本BMI研究会