2020 Fiscal Year Annual Research Report
Challenge for representing meaning and generating a text based on semantic representation in the human brain
| Project/Area Number |
18K19805
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 脳内情報解読 / 深層学習モデル / fMRIデータ / スパースコーディング / 辞書行列 / 意味表現 |
|---|
| Outline of Annual Research Achievements |
昨年度までの実験を通じてBERTがword2vecよりも高い精度を出すことが判明した。そのため、BERTを使って脳活動データと対応関係をとることに着目し、言語の意味と脳活動状態とが一つになった情報の単位を作る作業を行なった。これには、言語と画像など他のモダリティが同時に観測された際に、そのペアデータをそれぞれのモダリティから推測できるようなマルチモーダルな意味を有する埋め込みベクトルを作る先行研究（VisualBERTやSpeechBERTなど）を参考に、脳活動データと言語が一つになった埋め込みベクトルの開発を進めた。主にSpeechBERTにおいて採用された手法を参考にし、脳活動データをオートエンコーダにより次元圧縮をする際に中間層を構築する際にその脳活動が得られた際のBERTの埋め込みベクトルになるような制約を用いて学習を行い、そこで得られた埋め込みベクトルを高次元データから低次元データへと圧縮された脳活動データの初期状態として、BERTによる言語情報と脳活動データのペアデータをTransfomerのエンコーダに入れ学習を行なった。BERTの学習には通常、欠如している単語を推定するMasked Language Modelingと次の文を推定する二値分類問題を学習に取り入れるが、今回は単語単位の推定は言語と脳活動データのアライメントを正確にとるのは困難なため文単位の推定を行なった。実験のために使用したデータはAliceデータセットと呼ばれる「不思議の国のアリス」を聞いた際のfMRI脳活動データとPereiraデータセットと呼ばれる文（単語を含む）を聞いた際のfMRI脳活動データセットである。構築したモデルを我々はBrainBERTと呼び、そのモデルを用いて、脳活動データからその刺激を受けた文を推定する実験などを進めている。
|
