脳内情報解読に基づく視覚野と言語野の連関機能解明への挑戦
Publicly Offered Research
| Project Area | Brain information dynamics underlying multi-area interconnectivity and parallel processing |
|---|
| Project/Area Number |
18H05118
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Project Status |
Completed (Fiscal Year 2019)
|
| Budget Amount *help |
¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2019: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2018: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
|---|
| Keywords | 深層学習モデル / fMRIデータ / 脳内解読 / 音声刺激 / 脳内状態推定 / 脳内情報解読 / マルチモーダル情報処理 |
|---|
| Outline of Annual Research Achievements |
自然動画像と言語の情報処理を連関しながら行う脳内メカニズムを深層ニューラルネットワーク（DNN）によるモデルを作業モデルとして解明することを目的とし、視覚野と言語野の連関に基づいてヒト脳の内部に生成された高次意味表象をDNNとの対応関係の学習を通じてDNNの中間層の状態として抽出することを試みた．具体的に得られた知見として、画像刺激に基づく脳活動データからの文生成においては、fMRIで取得されるデータが少ないため、脳活動データを有効活用する技術として、擬似的にデータを拡張する手法を適用し、増強された擬似データを用いて文生成を行なったが、文生成における精度の飛躍的向上には繋がらなかった．そのため、画像刺激の脳活動データに対してキャプションが付いている公開データBOLD5000を用いて、さらにデータを増強し実験を進め、精度の向上を確認した．
音声刺激に基づく脳活動データからの文生成においては、動画像刺激からの文生成の時と同じように、深層学習モデル（音声の場合は、Speech-to-Textを扱うモデル、とくにEncoderとDecoderを End-to-Endで学習できるモデルとしてESPnetを援用することにより、少ないfMRIデータの有効活用を行う脳内情報解読手法の構築を進めた．脳活動データから特徴量推定のモデルをRidge回帰から多層パーセプトロンに変更し推定することにより、観測された特徴量と推定された特徴量の間において相関性の向上が確認された．これを用いて音声刺激下の脳活動データから、ヒトが脳内で想起した言葉を抽出する脳内情報解読手法の開発を進めた．
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(10 results)
