Investigation of holistic representation of faces from visual features encoded by face neurons in the brain

2018 Fiscal Year Final Research Report

• Project/Area Number: 26240021
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Cognitive science
• Research Institution: Institute of Physical and Chemical Research
• Principal Investigator: Tanifuji Manabu 国立研究開発法人理化学研究所, 脳神経科学研究センター, チームリーダー (60197530)
• Project Period (FY): 2014-04-01 – 2018-03-31
• Keywords: 物体認識 / 顔認知 / 深層学習 / AI / DCNN

Outline of Final Research Achievements

How faces are decomposed in the brain? Faces may be decomposed into facial parts, such as eyes, nose and mouth, and/or elements representing relational information of facial parts. We addressed this question by approximating visual features encoded by face neurons as natural image fragments. Resulting features reproduced response preference to particular views, and combination of them made view invariant face identification possible. Visualizing sub-region of faces captured by these features revealed that our brain decomposed faces into local features and complex features each of which detects a spatial arrangement of the local features. However, these local features are not explicit representation of facial parts. They are edge and color contrast derived from facial parts, hairline, and face lines. We suggest that the deep layered ventral visual pathway can be approximated by a shallow network comprising layers of low level processing and of combining low level information.

Free Research Field

システム神経科学

Academic Significance and Societal Importance of the Research Achievements

脳において、視覚物体像は何層にもわたる多層ネットワークを経て処理されている。私たちの研究は、この多層なネットワークが低次の局所的なエッジを抽出する初期層と局所的な情報の特定の組み合わせを作る層の２層によって近似できることを示した。この結果は、脳における視覚物体処理の本質の理解に大きく貢献している。近年、AIの一分野として、視覚物体処理を行うネットワークの開発されている。しかし、それらのネットワークは多層構造を持つため、中で行われている演算はわからないという問題点がある。我々の研究で用いた手法はAIにも適用できるので、AIの解析に大きな貢献をすることが期待される。