| 研究領域 | スパースモデリングの深化と高次元データ駆動科学の創成 |
|---|
| 研究課題/領域番号 |
16H01540
|
|---|
| 研究機関 | お茶の水女子大学 |
|---|
研究代表者 |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2018-03-31
|
| キーワード | 深層学習 / 文生成 / 脳神経活動 / fMRI / スパースコーディング / 分散意味表現 |
|---|
| 研究実績の概要 |
本研究ではfMRIを使って得られた脳神経活動データと自然言語処理手法におけるword2vecによる語彙の分散意味表現との高い相関関係を示した研究成果と画像の言語化の手法に関する研究成果を融合し，(a)脳内活動の状態を自然言語文で表現する手法および(b)スパースモデリングにより解析する手法の二つを開発した．(a)において、画像に対するキャプション生成の深層学習メカニズムを援用し，fMRIを用いて取得した動画刺激に対する脳活動データを深層ネットワークの中間層へ回帰させる
ことにより，脳活動データを入力とし，脳神経活動の内容を記述する文生成を行った．これに対して、fMRIによって取得した脳活動データから文生成を行い、人がきちんと理解できる文の生成をおこなうことができた。(b)においては、動画刺激により得られた脳活動データと動画刺激とを対応させ，その内容を説明した文章をword2vecを用いて分散意味表現で表した言語データのそれぞれに対し，スパースコーディング(以下，SP)を用いて辞書行列と係数行列に分解し，双方の係数行列を回帰させたモデルを構築した．双方の手法とSPを介在せず、脳活動データと言語データとを直接，Ridge回帰により対応関係をとった手法とで新しい脳活動データに対する分散意味の推定の精度を調べる．これにより，脳活動における高次機能としての言語の意味表象においてもSPが本質的に機能しているかについて調査を行った．評価結果については，脳活動データと言語データとの双方にSPを適用した場合>言語データのみにSPを適用した場合>Ridge回帰により直接対応関係をとった場合，という予測精度の順番となった．これにより，SPが脳活動を表現する言語（意味表象）との関係を表現するのに適していること，および，それを通じた対応関係の調査手段として使えると考える．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
当初１年目の後半に予定していた脳神経活動データからの言語生成を前期のうちにすでに完成させており、現在は、新しいより高次元のデータからの文生成に着している。また、開発した手法の改良を順次すすめることができている。また、スパースモデリングを用いて、脳活動の意味表象を推定する手法の開発についても、言語データと脳活動データの双方にスパースコーディングを適用し、適用のあるほうがより精度の高い予測が可能であることを実験を通じて示すことができた。
|
| 今後の研究の推進方策 |
現在、訓練データに対しては精度の高い文生成が実現できているが、評価データに対しては生成結果の精度が必ずしも高いとは言えない。fMRIの脳活動データから画像キャプショニングシステムの中間層の状態を推定するのに深層学習を用いたが、現時点では、過学習を起こしてしまいよい精度を得られていない。この点について、今後は、被験者実験を行い脳活動データを増やし、追実験をすることや、現在の画像刺激となる動画像自体が人であっても説明文をつけにくいものになっているため、説明文の付与が容易な画像刺激を用いての追加実験を行う予定である。
|
