2016 Fiscal Year Annual Research Report
Brain decoding of impressions on visual images
| Project/Area Number |
26870935
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
堀川 友慈 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 主任研究員 (60721876)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 脳情報デコーディング / fMRI / 深層ニューラルネットワーク / 印象 |
|---|
| Outline of Annual Research Achievements |
本研究は、ヒトが画像に対して抱く印象の情報を、脳活動から解読する技術の開発を目的とし、画像観察時の脳活動から、脳情報デコーディング技術を利用することで、脳活動パターンに表現されている多様な脳内情報の解読を試みたものである。この目的を達成するためのアプローチとして、解読したい情報が多数の分解可能な要素の組み合わせで表現されているとみなし、各要素の脳情報デコーディング結果の組み合わせから、任意の情報の解読を行う「モジュラ・デコーディング」を採用した。従来の研究では、提示画像の低次視覚特徴を介したモジュラ・デコーディングの有用性が示されていたが、本研究では、同様のアプローチを、深層ニューラルネットワークで表現される多様な複雑さを有する特徴量に応用することで、物体画像を見ている時、想像している時、さらには夢で見ている時の脳活動から、任意の物体カテゴリの解読を行うことに成功した。また、深層ニューラルネットワーク上の視覚特徴の複雑さのレベルに応じて、高い成績で予測できる視覚野の階層が異なっていたことから、本アプローチを利用して、各脳部位にどのような情報が表現されているかを調べることが可能であることも示唆された。これらの結果によって、高次の視覚情報に対するモジュラ・デコーディングの有用性を確認するとともに、さらに高次の印象情報への適用の土台を構築することができた。以上の結果に関して、学会や論文を通して対外的に発表を行うとともに、解析に使用したデータやコードを専用のウェブサイトで公開した。また，画像の表面特性に対する視覚的印象や、好き嫌いの印象、さらに印象の強さ、などを評定したスコアを脳活動から解読することに成功し、それぞれの印象情報が、脳の広範な部位から解読可能であることを確認することができた。この結果は、脳から印象を読み出す新たな印象評定手段の実現可能性を示唆するものである。
|
