2018 Fiscal Year Research-status Report
Challenge for representing meaning and generating a text based on semantic representation in the human brain
| Project/Area Number |
18K19805
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 脳内情報解読 / 深層学習モデル / fMRIデータ / スパースコーディング / 辞書行列 / 意味表現 |
|---|
| Outline of Annual Research Achievements |
本提案手法は, 深層学習を用いて, 音声刺激を受けた脳活動データを入力として, その時に刺激となっていた音声のテキストを生成し, 人が頭の中で想起した言葉に対応する意味表象を言葉として表現する解読方法を構築することを目指した. しかし, fMRI により観測する脳活動データは 取得のためのコストが大きく, 大量の学習データを要する深層学習を十分に行うための大規模なデータ収集は困難である．そのため, Encoder-Decoder Network に基づく自動音声認識手法を援用することで少量データを効率的に活用する工夫を行った. 具体的には自動音声認識の Encoder から得られる中間表現に, 脳活動データを回帰させ, その結果を自動音声認識の Decoder に入力することで, テキスト生成を行った．現在は、精度を向上させるために深層学習モデルのネットワークの改変などを行い、精度の向上に務めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画において掲げた音声刺激からの脳内状態解読に利用するための深層学習モデルによる音声認識システムの実装をおこなった．現在、その精度を向上させるために深層学習モデルのアーキテクチュアの見直しを行っている．また、脳活動データから当該深層学習モデルの中間層の状態を推定するための回帰モデルの構築はすでに完了しており、ハイパーパラメータの調整も試している段階である．これらに関しては、すでに学会発表を行っている．
また、脳活動と音声刺激および画像刺激からの分散表現からなるパラレルコーパスの行列に対してのスパースコーディングにおいては、一通り実験が行えるように手法の整備はすでに終わっている．
|
| Strategy for Future Research Activity |
これまでに開発した音声認識を行う深層学習モデルの改良を行い、より精度が高く脳活動データから音声を生成できるようにするつもりである．また、脳活動データとword2vecを通じたテキストの分散表現とのパラレルコーパスの生成において、近年、word2vecよりも的確な意味表現と言われているBERTを使ったテキストの分散表現を導入し、それによって脳活動を元にした意味表現がどのように変化するかなどについて調査を進めるつもりである．
|
| Causes of Carryover |
深層学習モデル構築のためのサーバが故障したため、研究が当初の予定より遅れてしまったため、計画通りの執行ができなくなった。
|
