| Project/Area Number |
21H03516
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
KAWANABE Motoaki 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (30272389)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮西 大樹 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究員 (10737521)
平山 淳一郎 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80512269)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2023: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2022: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Fiscal Year 2021: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
|
|---|
| Keywords | 人間情報学 / マルチモーダル脳イメージング / 自己教師あり学習 / 転移学習 / 脳活動ダイナミクス |
|---|
| Outline of Research at the Start |
うつ状態を予防するためには脳と心の不調の早期検出が重要であるが、教師ラベル付きの脳イメージングデータのサンプル数が限られているため、深層学習を用いた脳情報解読法が従来法と同等の性能に留まっている。本研究では、最先端の自然言語処理技術で活用されている自己教師あり学習アプローチを脳情報解読に導入し、深層学習を大幅に改良できる脳情報特徴量を構築するための新たなフレームワークを開発するとともに、結果が説明可能なニューロテクノロジーの確立を目指す。
|
| Outline of Final Research Achievements |
In order to address the issue that the statistical properties of neuroimaging data vary substantially between different subjects and sessions, we developed a transfer learning method for brain information inference named TSMNet which can calibrate these inter-domain differences. Then, in order to extract information representations shared by multimodal data acquired from EEG and fMRI, we developed a self-supervised representation learning method named DeepGeoCCA, by combining nonlinear filtering using deep learning with a geometric approach that matches the statistical properties of neuroimaging data. We applied to the classification problem of cognitive load on ATR's EEG-fMRI simultaneous recording data, and showed that it has high generalizability across different subjects by incorporating TSMNet into its EEG model.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究で開発されたDeepGeoCCAに基づくマルチモーダルデータの自己教師あり学習法は、ATRが実施中のプロジェクトで活用されており、メンタルヘルスや認知機能の維持・向上に資するブレイン・マシン・インタフェースの研究を通じて社会への貢献が期待される。また、脳イメージングデータのみならず、ScanQAのように、様々な状況が考えうる複雑な実環境データに対して、深層学習の性能向上などの波及効果が期待できる。
|
