Publicly Offered Research
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
本研究ではfMRIを使って得られた脳神経活動データと自然言語処理手法におけるword2vecによる語彙の分散意味表現との高い相関関係を示した研究成果と画像の言語化の手法に関する研究成果を融合し，(a)脳内活動の状態を自然言語文で表現する手法および(b)スパースモデリングにより解析する手法の二つを開発した．(a)において、画像に対するキャプション生成の深層学習メカニズムを援用し，fMRIを用いて取得した動画刺激に対する脳活動データを深層ネットワークの中間層へ回帰させることにより脳活動データを入力とし，脳神経活動の内容を記述する文生成を行った．これに対し、fMRIによって取得した脳活動データから文生成を行い、人が理解できる文の生成をおこなうことができた。(b)においては、動画刺激により得られた脳活動データと動画刺激とを対応させ，その内容を説明した文章をword2vecを用いて分散意味表現で表した言語データのそれぞれに対し，スパースコーディング(以下，SP)を用いて辞書行列と係数行列に分解し，双方の係数行列を回帰させたモデルを構築した．双方の手法とSPを介在せず、脳活動データと言語データとを直接，Ridge回帰により対応関係をとった手法とで新しい脳活動データに対する分散意味の推定の精度を調べる．これにより，脳活動における高次機能としての言語の意味表象においてもSPが本質的に機能しているかについて調査を行った．評価結果については，脳活動データと言語データとの双方にSPを適用した場合>言語データのみにSPを適用した場合>Ridge回帰により直接対応関係をとった場合，という予測精度の順番となった．これにより，SPが脳活動を表現する言語（意味表象）との関係において機能している可能性を確認した．また、脳活動と意味表象の基底の対応関係を通じて、脳活動の基底の意味を言語で表現できるようにした．
29年度が最終年度であるため、記入しない。
All 2018 2017 2016
All Presentation (14 results) (of which Int'l Joint Research: 1 results)
