2023 Fiscal Year Annual Research Report
文理解の脳fMRI反応を予測する統合神経意味計算モデルの構築
| Project/Area Number |
19K12727
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
赤間 啓之 東京工業大学, リベラルアーツ研究教育院, 准教授 (60242301)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
粟津 俊二 実践女子大学, 人間社会学部, 教授 (00342684)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | fMRI / 深層学習 / 機械学習 / 自然言語モデル / 脳機能的連結性 |
|---|
| Outline of Annual Research Achievements |
最終年度、本科研の直接的成果および、本科研に多少とも関連する研究の成果のうち、重要なものは以下の通りである。また2024年3月現在で査読中の国際学術原著論文が2本残っており、そのうち1本は単語の意味処理の脳内神経基盤に関わるという意味において、本研究に直接関係するものである。
まず、そのうち四辻＆赤間, 2023では、文章生成深層モデルによる刺激文の再構成を行った。機械学習では、ディープラーニングによる自然言語モデルの急速な発展により、文生成モデルが高精度の文を生成できるようになっている。本論文では、これらの文章生成モデルを用いて、言語情報を理解する脳の神経計算モデルを評価するために、脳の神経表現のみから直接刺激文を再構築する手法を構築することを目的とした。その結果、事前に学習させたディープニューラルネットワークモデルと組み合わせた変分オートエンコーダーモデルが最も高いデコード精度を示し、このモデルを用いて脳の神経表現のみから直接、その脳が読んでいる刺激文を再構成することができた。
Shimojo & Akama, 2023では、BrainGNNという深層学習フレームワークを利用し、安静時fMRIデータとGM-BHQの間の関係を学習した回帰モデルを構築したうえで、機能情報に基づくモデルの予測値をFC-BHQとして求め、その有用性を検証した。 Tokuhiro & Akama, 2023では、脳ドックデータの中の安静時機能的連結情報から、年齢と負の相関を持つ二つの認知機能検査値のひとつ、Kohs立方体組み合わせテストのスコア予測を行った。その結果、年齢予測に貢献する領域以外のROIを同定できるとともに、また本質的ネットワーク間の連結が大きく予測に貢献しており、デフォルトモードネットワークと小脳ネットワークにのみネットワーク内連結が重要なものとして検出された。
|
