2022 Fiscal Year Annual Research Report
Self-supervised feature construction methods for multi-modal neuroimaging data
| Project/Area Number |
21H03516
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
川鍋 一晃 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (30272389)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮西 大樹 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究員 (10737521)
平山 淳一郎 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80512269)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 人間情報学 / マルチモーダル脳イメージング / 自己教師あり学習 / 転移学習 / 脳活動ダイナミクス |
|---|
| Outline of Annual Research Achievements |
教師ラベルの少ないマルチモーダル脳イメージングデータに対して有効な、自己教師あり学習による特徴量構築法の開発を目的とし、本年度は以下の3つの課題 に取り組んだ。第一に、異なる被験者やセッションなど、脳波データの課題であるドメイン間差を較正するため、脳情報転移学習法TSMNetを開発した。この手法は、深層学習と幾何学的アプローチを融合し、共分散行列特徴量の空間での幾何学的バッチ正則化を組み込むことで、教師情報なしにドメイン適応を行う。実際に、複数の脳波ブレイン・コンピュータ・インタフェース公開データの被験者間転移設定において、TSMNetが深層学習や幾何学的アプローチ単体の従来法を有意に改善することを示した。本成果論文は機械学習のトップ会議NeurIPS2022に採択された。また、TSMNetと自己教師あり学習法TCLとの統合可能性を検討した。第二に、fMRIのような3次元データと、EEGのような時系列データを情報統合するための手法として、それぞれの自己教師あり学習済の特徴量構築モジュールを組み込んだ深層ネットワークアーキテクチャScanQAモデルを提案した。その評価のために、ScanReferをベースにScanQAデータセットを構築し、提案手法の3次元質問応答のパフォーマンスが従来法を改善することを示した。本成果論文はコンピュータビジョンのトップ会議CVPR2022に採択された。今後、マルチモーダル脳イメージングデータへの本手法の適用を検討していく。第三に、fMRIデータに対する自己教師あり学習について、当初計画のSCLと、最近発表された、大規模データに基づくBERTベースの学習済モデル(Thomas et al., 2023)を比較検討した。その結果、後者の方が有望であることがわかったので、今後はこのアプローチに従って実装を進める計画である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
異なる被験者やセッションなど、脳イメージングデータのドメイン間差を較正するための脳情報転移学習技術TSMNetを開発し、複数の公開データで、従来法より被験者間転移学習精度が向上することを示した。これにより、自己教師あり学習フレームワークと、TSMNetをベースとする脳情報転移学習法を融合するための準備が整った。また、fMRIのような3次元データと、EEGのような時系列データを情報統合するための手法として、それぞれの自己教師あり学習済の特徴量構築を組み込んだ深層ネットワークアーキテクチャScanQAモデルを提案し、マルチモーダル脳イメージングデータへの適用可能な手法の高度化を行った。さらに、fMRIデータに対する自己教師あり学習法については、最近、大規模データに基づくBERTベースの学習済モデルが発表され(Thomas et al., 2023)、当初計画のSCLとの比較検討の結果、このアプローチに従って実装を進めることに決めた。以上のように、マルチモーダル脳イメージングデータに対する自己教師あり学習法の要素技術の研究開発がおおむね完了した。
|
| Strategy for Future Research Activity |
来年度は、本年度までに得られた、EEGおよびfMRIデータに対する自己教師あり学習法の統合に取り組む。 また、この学習フレームワークから得られる脳情報特徴量の解釈可能性を評価する。さらに、本年度までに開発した、深層ニューラルネットワークに基づく被験者間転移学習法を高度化し、自己教師あり学習フレームワークと融合する手法を開発する。ATRが保有および取得予定のマルチモーダル脳イメージングデータの提供を受け、自己教師あり学習法の改良と評価のためにこのデータを活用する。最後に、以上で開発する手法を統合して、ソフトウェアとして実装する。本年度は、研究協力者のHyvarinen教授(ヘルシンキ大)と直接交流する機会があるので、彼のチームとの連携を強化して、研究をより加速したい。
|
