2019 Fiscal Year Research-status Report
Challenge for representing meaning and generating a text based on semantic representation in the human brain
| Project/Area Number |
18K19805
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 深層学習モデル / fMRIデータ / 事前学習言語モデル / 脳内状態推定 / 音声刺激 / スパースコーディング |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、ヒト脳内において想起された高次意味表象である言葉を解読し、脳内の状態から言葉の意味を表現する手法の開発である。これに対し、(I) 音声によって与えられた言語刺激からの脳内情報解読手法の開発、(II) 脳活動基底と分散表現基底の対応関係に基づく言語の意味表現手法の開発、の二つアプローチにより課題へ取り組んだ。（I）については、音声によって与えられた言語刺激から深層ニューラルネットワーク（DNN）を用いて文生成を行う脳内情報解読手法の開発に取り組んだ．音声認識・深層ニューラルネットワーク（DNN）には、ESPnetと呼ばれるEnd-to-End方式のものを実装し、音声をテキストに変換する際、報告者の先行研究[Matsuo+, 2016]を参考にして、中間層に表現される状態に同じ音声（言語刺激）を与えた脳活動データを回帰学習させ、脳活動データからテキストを直接生成することができるようにした．これにより、言語刺激下の脳活動データを言葉で解読する手法を開発した．(II)については、画像および音声からなる刺激に対する脳活動データと、画像に対してはその内容をアノテーションした記述文を、音声に対しては発話内容をそれぞれ対応づけたペアデータに対し、スパースコーディングをかけることから脳活動の基底とテキストまたは音声からなる言語の分散表現の基底の対応関係を捉えた。画像に対する言語の分散表現に対しては、word2vecw用い、音声（発話）に対する言語の分散表現に対しては、word2vecおよびBERTの双方を用い、スパースコーディングを用いた基底抽出に対する優位性を検証することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度までに研究計画において掲げた二つのアプローチに対して、それぞれの手法の大枠を開発し、実験結果を得ることができた。それぞれの研究成果を国内外の学会で報告することができた。
|
| Strategy for Future Research Activity |
一つ目のアプローチである「音声によって与えられた言語刺激からの脳内情報解読手法の開発」においては、深層学習モデルを学習させる際の十分の訓練データが存在しないことから、まだ十分な精度は得られていないが、最終的に文として生成することを目的とせず、中間層における取り出された特徴量が脳活動データと相関性があることを検証することを通じて、脳内状態の推定をすることにより、言語の意味と脳内における状態との対応関係を捉えていくつもりである。
二つ目のアプローチである「脳活動基底と分散表現基底の対応関係に基づく言語の意味表現手法の開発」においては、脳活動データと言語の意味の対応関係を捉えるのに、word2vecよりBERTのほうが脳活動データをよりよく反映した表現であることを確認できた。次の段階として、さらに脳活動データを反映しやすい意味表現の構築となる。これに対して、様々に提案されている事前学習された言語モデルの構築方法などから見直したいと考えている。
|
| Causes of Carryover |
音声認識の深層学習モデル構築の精度をあげるための試行錯誤に思ったより時間がかかったこと、および、モデル構築のための学習用サーバが故障して修理に出したことなどにより、研究成果をもっと早くあげ、国際会議での報告を予定していたものが行えなかったため、次年度へ研究費の繰越を行うことになった。本年は、新たに学習用サーバの増強、システム開発補助への謝金、被験者実験への謝金、国際会議での発表にそれらの研究費を使用するつもりである。
|
