2023 年度研究成果報告書

マルチモーダル脳イメージングデータのための自己教師あり特徴量構築法

研究課題

PDF

研究課題/領域番号	21H03516
研究種目	基盤研究(B)
配分区分	補助金
応募区分	一般
審査区分	小区分61040:ソフトコンピューティング関連
研究機関	株式会社国際電気通信基礎技術研究所
研究代表者	川鍋一晃株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (30272389)
研究分担者	宮西大樹株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究員 (10737521) 平山淳一郎国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80512269)
研究期間 (年度)	2021-04-01 – 2024-03-31
キーワード	人間情報学 / マルチモーダル脳イメージング / 自己教師あり学習 / 転移学習 / 脳活動ダイナミクス
研究成果の概要	異なる被験者やセッションで脳イメージングデータの統計的性質が大きく異なるという課題に対応するため、このドメイン間差を較正する脳情報転移学習法TSMNetを開発した。また、EEGとfMRIのマルチモーダルデータに共通する情報表現を抽出するために、深層学習を利用した非線形フィルタリングと、脳イメージングデータの統計的性質に則した幾何学的アプローチを組み合わせて、自己教師あり特徴量構築法DeepGeoCCAを開発した。ATRのEEG-fMRI同時計測データの認知負荷度判別問題に適用したところ、EEGモデルにTSMNetを組み込むことにより、異なる被験者でも高い汎化性を持つことを示した。
自由記述の分野	ソフトコンピューティング
研究成果の学術的意義や社会的意義	本研究で開発されたDeepGeoCCAに基づくマルチモーダルデータの自己教師あり学習法は、ATRが実施中のプロジェクトで活用されており、メンタルヘルスや認知機能の維持・向上に資するブレイン・マシン・インタフェースの研究を通じて社会への貢献が期待される。また、脳イメージングデータのみならず、ScanQAのように、様々な状況が考えうる複雑な実環境データに対して、深層学習の性能向上などの波及効果が期待できる。