| 研究領域 | 脳情報動態を規定する多領野連関と並列処理 |
|---|
| 研究課題/領域番号 |
18H05118
|
|---|
| 研究種目 |
新学術領域研究(研究領域提案型)
|
| 配分区分 | 補助金 |
|---|
| 研究機関 | お茶の水女子大学 |
|---|
研究代表者 |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2020-03-31
|
| 研究課題ステータス |
完了 (2019年度)
|
| 配分額 *注記 |
5,720千円 (直接経費: 4,400千円、間接経費: 1,320千円)
2019年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2018年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
|
|---|
| キーワード | 深層学習モデル / fMRIデータ / 脳内解読 / 音声刺激 / 脳内状態推定 / 脳内情報解読 / マルチモーダル情報処理 |
|---|
| 研究実績の概要 |
自然動画像と言語の情報処理を連関しながら行う脳内メカニズムを深層ニューラルネットワーク（DNN）によるモデルを作業モデルとして解明することを目的とし、視覚野と言語野の連関に基づいてヒト脳の内部に生成された高次意味表象をDNNとの対応関係の学習を通じてDNNの中間層の状態として抽出することを試みた．具体的に得られた知見として、画像刺激に基づく脳活動データからの文生成においては、fMRIで取得されるデータが少ないため、脳活動データを有効活用する技術として、擬似的にデータを拡張する手法を適用し、増強された擬似データを用いて文生成を行なったが、文生成における精度の飛躍的向上には繋がらなかった．そのため、画像刺激の脳活動データに対してキャプションが付いている公開データBOLD5000を用いて、さらにデータを増強し実験を進め、精度の向上を確認した．
音声刺激に基づく脳活動データからの文生成においては、動画像刺激からの文生成の時と同じように、深層学習モデル（音声の場合は、Speech-to-Textを扱うモデル、とくにEncoderとDecoderを End-to-Endで学習できるモデルとしてESPnetを援用することにより、少ないfMRIデータの有効活用を行う脳内情報解読手法の構築を進めた．脳活動データから特徴量推定のモデルをRidge回帰から多層パーセプトロンに変更し推定することにより、観測された特徴量と推定された特徴量の間において相関性の向上が確認された．これを用いて音声刺激下の脳活動データから、ヒトが脳内で想起した言葉を抽出する脳内情報解読手法の開発を進めた．
|
| 現在までの達成度 (段落) |
令和元年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和元年度が最終年度であるため、記入しない。
|
