計画研究
本研究課題では、大規模データを用いたデータマイニング的手法により質感情報表現を発見するアプローチの創出を目指している。これまでの研究から、画像を見ている時のヒトの脳活動パターンと、同じ画像を入力としたときの深層ニューラルネットワーク（DNN）の信号パターンの間に相同性を発見し、脳からDNNへの信号変換が可能であることを見出した。このことは、データ駆動的に得られる膨大な数のDNN特徴表現の中にヒトの脳活動と密接に結びついた特徴が多数含まれることを示唆している。この方法により、質感を生み出す多彩な特徴とその脳内表現にアプローチすることができると考えられる。今年度われわれは、トップダウンの視覚情報処理が脳内の階層的特徴表現に与える影響について調べた。この研究では、低周波フィルタによりブラー処理した画像（ブラー画像）を刺激として脳活動を計測し、そこから上記と同じアルゴリズムでDNN特徴量をデコードした。デコードされたDNN特徴量を、ブラー画像自体のDNN特徴量とブラー処理する前の元画像のDNN特徴量それぞれと比較した。その結果、脳からデコードされたDNN特徴量は、刺激画像と比較して元画像のDNN特徴量により近くなることが見出された。これは、脳がブラー処理で失われた特徴を補完して表現していることを示している。ぼやけた画像を知覚する際には、トップダウン処理により補完された質感が意識に上っている可能性が示唆された。
2: おおむね順調に進展している
ブラー画像の脳内情報表現のシャープ化現象に関する研究は予想以上に進展し、論文も国際誌 eNeuroに投稿した（2018年4月に受理）。
標準化されたプロトコルでfMR実験を実施し、スケーラブルなデータベースを構築して研究をさらに加速させる。また、これまでに開発したアプローチを画像生成や言語情報にも拡張し、多様な質感認知に関わる階層的情報表現を明らかにする。
すべて 2018 2017
すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (3件) (うち国際学会 3件)
Cerebral Cortex
巻: 28 ページ: 1416～1431
10.1093/cercor/bhx342
Nature communications
巻: 8 ページ: 15037～15037
10.1038/ncomms15037
