2020 年度研究成果報告書

ヒト脳内の高次意味表象に基づく意味表現とテキスト生成への挑戦

研究課題

PDF

研究課題/領域番号	18K19805
研究種目	挑戦的研究(萌芽)
配分区分	基金
審査区分	中区分61:人間情報学およびその関連分野
研究機関	お茶の水女子大学
研究代表者	小林一郎お茶の水女子大学, 基幹研究院, 教授 (60281440)
研究期間 (年度)	2018-06-29 – 2021-03-31
キーワード	脳内情報解読 / 深層学習モデル / fMRI / 脳内状態推定 / 音声刺激 / 言語刺激 / スパースコーディング
研究成果の概要	本研究は、ヒト脳内において想起された高次意味表象である言葉を解読し、脳内の状態から言葉の意味を表現する手法の開発することを目的とする。そのためのアプローチとして、（I）音声によって与えられた言語刺激による脳活動状態を文章として取り出す脳内情報解読手法の開発、及び、(II)脳活動状態をスパースコーディングを用いて得られた基底と言語の埋め込みベクトルであるword2vec及びBERTとの対応関係をとる回帰モデルを構築し、脳の認識の単位を言語の意味として表現する新しい言葉の意味表現を開発した。
自由記述の分野	言語情報処理、知能情報処理
研究成果の学術的意義や社会的意義	本研究においては、言語の意味は本来、ヒト脳の中に表現されるものであり、すでに言語となって外に出てきたものの中に意味を求めるのではなく、直接、脳内に表現される意味表象を使った新しい意味表現を構築するものである。これまで我々はヒト脳内を観測することができなかったため、言語が持つ論理的意味や語用論的意味をその表現と文法から捉えていたが、現在、fMRIなどを用いて直接脳内を観測することができ、その技術と脳の外で脳内の意味を表す言語の二つを合わせた新しい意味表現の構築を行なった。開発された脳活動と言語に基づく意味表現手法は、ブレインマシンインタフェースの構築に必要となる脳内情報解読にも大きな役割を担う。