| 研究実績の概要 |
本提案手法は, 深層学習を用いて, 音声刺激を受けた脳活動データを入力として, その時に刺激となっていた音声のテキストを生成し, 人が頭の中で想起した言葉に対応する意味表象を言葉として表現する解読方法を構築することを目指した. しかし, fMRI により観測する脳活動データは 取得のためのコストが大きく, 大量の学習データを要する深層学習を十分に行うための大規模なデータ収集は困難である．そのため, Encoder-Decoder Network に基づく自動音声認識手法を援用することで少量データを効率的に活用する工夫を行った. 具体的には自動音声認識の Encoder から得られる中間表現に, 脳活動データを回帰させ, その結果を自動音声認識の Decoder に入力することで, テキスト生成を行った．現在は、精度を向上させるために深層学習モデルのネットワークの改変などを行い、精度の向上に務めている．
|
