不明瞭な視覚刺激を入力した場合は、feedforwardでトップダウンの予測ができないディープニューラルネットワーク(DNN)では、明瞭な画像に補完することは困難であるが、不明瞭な視覚刺激を見ている最中の脳活動ではトップダウン信号により情報が補完されるため、明瞭な画像を脳活動から再構成が可能である。そこで、画像を見ている際の3T fMRIによる人間の脳活動から特徴量を抽出するデコーダーを作成し、画像認識のDNNの特徴量と比較した。この差を検討することにより、不明瞭な視覚刺激がどの程度トップダウン信号で補完されるか、つまり、間接的に予測信号の寄与を検討することが可能になった。この手法を健常者および統合失調症患者に応用した。、まだ、予備的な結果ではあるが、健常者と比べて、統合失調症では初期の視覚野の段階で代償的な補完が健常者より更新していることが示唆された。
|