| 研究領域 | 脳情報動態を規定する多領野連関と並列処理 |
|---|
| 研究課題/領域番号 |
18H05118
|
|---|
| 研究機関 | お茶の水女子大学 |
|---|
研究代表者 |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2020-03-31
|
| キーワード | 深層学習モデル / fMRIデータ / 脳内解読 / 音声刺激 / 脳内状態推定 |
|---|
| 研究実績の概要 |
視覚野と言語の対応関係を調査するため、二つの研究課題をそれぞれ進めた。一つ目の課題として、動画に対する視覚刺激を言語で表現する脳内情報解読を実現することを進めた。動画像を処理する深層学習モデルとして、C3Dという時間方向の処理が行える画像処理深層学習モデルについて、画像刺激として脳に与えられた動画像を処理できるようにモデルを改良した。
二つ目として、音声刺激による言語活動を捉えるため、音声に対する言語刺激を言語で表現する脳内情報解読を実現することを進めた。これを実現するため音声からテキストを生成する深層学習システムの実装を進めた。最初に構築したシステムの精度が十分でなかったことから、EspNetという高性能の音声認識システムに切り替え、そのモデルの中間層に脳活動データを回帰できるようにシステムの改良を行っている。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
二つの研究計画に対して、それぞれの深層学習モデルを準備するところにかなりの時間を要してしまったが、試行錯誤によって、よりその特徴を捉えることができた。とくに音声認識システムの選定については、改良できるEnd-to-End型のシステムは限定されており、時間を要してしまったが、初年度である程度の準備ができたことから翌年度は実験中心に課題遂行ができると考える。
|
| 今後の研究の推進方策 |
動画像刺激から脳活動を調査する課題において、作業モデルとして構築している深層学習モデルの中間層と脳活動データの回帰モデルを構築する際の訓練データが不足している。このことから、他に有用な脳活動データを探すとともに、動画像刺激にこだわらず静止画像に対する脳活動データの使用も視野に入れる。
音声刺激から脳活動を調査する課題において、音声認識のための深層学習モデルの中間層と脳活動データをつなぐ回帰モデルを構築する。その際、音声の信号と脳活動データの対応関係を取る際において、データの同期をとることが課題になることが考えられる。これに対して、線形回帰であるリッジ回帰だけでなく、再帰型ニューラルネットワークを用いるなどして、時間方向に情報を蓄積し、適切なタイミングで同期をとるなども考慮に入れて実験を進める予定である。
|
