| 研究領域 | 脳情報動態を規定する多領野連関と並列処理 |
|---|
| 研究課題/領域番号 |
20H05054
|
|---|
| 研究種目 |
新学術領域研究(研究領域提案型)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
複合領域
|
|---|
| 研究機関 | お茶の水女子大学 |
|---|
研究代表者 |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
5,720千円 (直接経費: 4,400千円、間接経費: 1,320千円)
2021年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2020年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
|
|---|
| キーワード | 脳内情報解読 / fMRIデータ / 深層学習 / 脳内状態推定 / BERT / RSA（表現類似度解析） / 階層的処理 / 多領野連関 / 脳内情報解読手法 / 画像認識深層学習モデル / 音声認識深層学習モデル / fMRI / マルチモーダル情報 / 画像刺激 / 言語刺激 / 領野における情報処理特性 |
|---|
| 研究開始時の研究の概要 |
本申請研究は、これまでに開発した深層学習を援用する脳内情報解読の手法を再検討し、画像刺激、言語刺激が与えられた際の脳内状態を精度よく推定できる手法の開発を行う．開発された手法を通じて、領野個々における情報処理特性および領野間の連携の特性を詳細に調査することを目的とする．
|
| 研究実績の概要 |
音声刺激によって与えられた聴覚情報を処理するためのモデルとして、音声をMFCCに変換するモデル、音声からテキスト変換を行う深層学習モデルであるEspNet、双方向再帰型モデルである、BiRNN、BiLSTM、BiGRUといった系列情報を処理するモデルを採用し、脳活動状態を推定し、モデルの比較を行った．その結果、EspNetの推定精度が高いことが判明した．また、音声内容を表現するのに、言語内容を埋め込みベクトル表現にする際に、汎用言語モデルBERTおよびその亜種であるRoBERTaや初期の汎用言語モデルであるword2vecなどを音声から抽出した言語内容を表現する特徴量として利用し、脳活動状態推定精度の比較を行った。その結果、その大量のコーパスを元に構築された汎用言語モデルRoBERTaの精度が高いことがわかった．
また、視覚情報に対する脳内活動状態を調べるために、VGG16を用いて画像特徴量を抽出し、脳活動状態を推定する符号化モデルを構築した． VGG16の8つの中間層から脳活動状態の推定を行い、脳内の関心領域（ROI）において視覚情報の段階的処理について調査した．この際、Kriegeskorteらによって提案された表現類似解析（RSA）を用いて、ROI毎の情報の類似性を表現した．また、各層においてROIのハブ性及び連結性の調査にPageRankアルゴリズムを用いて解析した．その結果、VGG16の8層において低層から高層に上がるに従い、視覚情報中心の知覚処理から認識を捉える意味表象を司る部位へROIのハブ性が遷移していくことを確認した．この処理内容は言語刺激からなる意味表象のROIとほぼ同じ特性であることがわかった．これらのことは、聴覚刺激と視覚刺激の双方の内容が脳内において知覚から認識へと段階的にシフトし、意味表象として統一的に扱われているということを示唆している．
|
| 現在までの達成度 (段落) |
令和3年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和3年度が最終年度であるため、記入しない。
|
