脳内情報解読に基づく多領野連関解明への挑戦
Publicly Offered Research
| Project Area | Brain information dynamics underlying multi-area interconnectivity and parallel processing |
|---|
| Project/Area Number |
20H05054
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Complex systems
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2021: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2020: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
|---|
| Keywords | 脳内情報解読 / fMRIデータ / 深層学習 / 脳内状態推定 / BERT / RSA（表現類似度解析） / 階層的処理 / 多領野連関 / 脳内情報解読手法 / 画像認識深層学習モデル / 音声認識深層学習モデル / fMRI / マルチモーダル情報 / 画像刺激 / 言語刺激 / 領野における情報処理特性 |
|---|
| Outline of Research at the Start |
本申請研究は、これまでに開発した深層学習を援用する脳内情報解読の手法を再検討し、画像刺激、言語刺激が与えられた際の脳内状態を精度よく推定できる手法の開発を行う．開発された手法を通じて、領野個々における情報処理特性および領野間の連携の特性を詳細に調査することを目的とする．
|
| Outline of Annual Research Achievements |
音声刺激によって与えられた聴覚情報を処理するためのモデルとして、音声をMFCCに変換するモデル、音声からテキスト変換を行う深層学習モデルであるEspNet、双方向再帰型モデルである、BiRNN、BiLSTM、BiGRUといった系列情報を処理するモデルを採用し、脳活動状態を推定し、モデルの比較を行った．その結果、EspNetの推定精度が高いことが判明した．また、音声内容を表現するのに、言語内容を埋め込みベクトル表現にする際に、汎用言語モデルBERTおよびその亜種であるRoBERTaや初期の汎用言語モデルであるword2vecなどを音声から抽出した言語内容を表現する特徴量として利用し、脳活動状態推定精度の比較を行った。その結果、その大量のコーパスを元に構築された汎用言語モデルRoBERTaの精度が高いことがわかった．
また、視覚情報に対する脳内活動状態を調べるために、VGG16を用いて画像特徴量を抽出し、脳活動状態を推定する符号化モデルを構築した． VGG16の8つの中間層から脳活動状態の推定を行い、脳内の関心領域（ROI）において視覚情報の段階的処理について調査した．この際、Kriegeskorteらによって提案された表現類似解析（RSA）を用いて、ROI毎の情報の類似性を表現した．また、各層においてROIのハブ性及び連結性の調査にPageRankアルゴリズムを用いて解析した．その結果、VGG16の8層において低層から高層に上がるに従い、視覚情報中心の知覚処理から認識を捉える意味表象を司る部位へROIのハブ性が遷移していくことを確認した．この処理内容は言語刺激からなる意味表象のROIとほぼ同じ特性であることがわかった．これらのことは、聴覚刺激と視覚刺激の双方の内容が脳内において知覚から認識へと段階的にシフトし、意味表象として統一的に扱われているということを示唆している．
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(8 results)
