2018 Fiscal Year Annual Research Report
脳内情報解読に基づく視覚野と言語野の連関機能解明への挑戦
Publicly Offered Research
| Project Area | Brain information dynamics underlying multi-area interconnectivity and parallel processing |
|---|
| Project/Area Number |
18H05118
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | 深層学習モデル / fMRIデータ / 脳内解読 / 音声刺激 / 脳内状態推定 |
|---|
| Outline of Annual Research Achievements |
視覚野と言語の対応関係を調査するため、二つの研究課題をそれぞれ進めた。一つ目の課題として、動画に対する視覚刺激を言語で表現する脳内情報解読を実現することを進めた。動画像を処理する深層学習モデルとして、C3Dという時間方向の処理が行える画像処理深層学習モデルについて、画像刺激として脳に与えられた動画像を処理できるようにモデルを改良した。
二つ目として、音声刺激による言語活動を捉えるため、音声に対する言語刺激を言語で表現する脳内情報解読を実現することを進めた。これを実現するため音声からテキストを生成する深層学習システムの実装を進めた。最初に構築したシステムの精度が十分でなかったことから、EspNetという高性能の音声認識システムに切り替え、そのモデルの中間層に脳活動データを回帰できるようにシステムの改良を行っている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
二つの研究計画に対して、それぞれの深層学習モデルを準備するところにかなりの時間を要してしまったが、試行錯誤によって、よりその特徴を捉えることができた。とくに音声認識システムの選定については、改良できるEnd-to-End型のシステムは限定されており、時間を要してしまったが、初年度である程度の準備ができたことから翌年度は実験中心に課題遂行ができると考える。
|
| Strategy for Future Research Activity |
動画像刺激から脳活動を調査する課題において、作業モデルとして構築している深層学習モデルの中間層と脳活動データの回帰モデルを構築する際の訓練データが不足している。このことから、他に有用な脳活動データを探すとともに、動画像刺激にこだわらず静止画像に対する脳活動データの使用も視野に入れる。
音声刺激から脳活動を調査する課題において、音声認識のための深層学習モデルの中間層と脳活動データをつなぐ回帰モデルを構築する。その際、音声の信号と脳活動データの対応関係を取る際において、データの同期をとることが課題になることが考えられる。これに対して、線形回帰であるリッジ回帰だけでなく、再帰型ニューラルネットワークを用いるなどして、時間方向に情報を蓄積し、適切なタイミングで同期をとるなども考慮に入れて実験を進める予定である。
|
Research Products
(3 results)
