計画研究
新学術領域研究(研究領域提案型)
大規模脳・画像データを用いたデータマイニング的手法により、人間の脳の質感情報表現を発見・利用するアプローチを創出した。画像を見ているときの脳活動パターンからその画像の深層ニューラルネットワーク（DNN）特徴を予測（脳からDNNへの信号変換）する方法を開発し、脳とDNNの間の階層的相同性を見出すとともにその定量化法を確立した。また、脳活動から予測したDNN特徴量を利用して、見ている画像を再構成する方法を開発し、テクスチャや材質に関する画像をそれを見たときの脳活動だけから再構成することに成功した。
認知神経科学
本プロジェクトの成果は、質感を含む知覚内容を今までにない精度で脳活動から解読できることを実証するとともに、脳－DNN間の信号変換技術にもとづくブレイン・デコーディングのポテンシャルを示している。同様のアプローチは、画像だけでなく、動画や音声、テキストなど、さまざまな刺激に対する脳活動からの情報解読に応用可能で、ブレイン－マシン・インターフェイスの技術の開発にも貢献することが期待される。また、脳との階層的相同性を定量化するBHスコアは、今後の脳型AI開発の指針となると考えられる。
