Integrative study on gaze shift and visual object recognition dynamics in natural scenes

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H01755
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Cognitive science
• Research Institution: The University of Electro-Communications
• Principal Investigator: Miyawaki Yoichi 電気通信大学, 大学院情報理工学研究科, 教授 (80373372)
• Co-Investigator(Kenkyū-buntansha): 柳澤 琢史 大阪大学, 高等共創研究院, 教授 (90533802)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: 眼球運動 / 自然画像 / 脳 / 物体認識 / 時間

Outline of Final Research Achievements

In this study, we aimed to understand what humans preferentially look at and recognize in natural scenes consisting of various objects from a temporal perspective, and obtained the following results. (1) We found spatio-temporal prioritization of gaze toward higher-order image features by combining analysis of eye movements during observation of natural scene images and quantification of image features using a deep convolutional neural network. (2) We found that this prioritization is caused solely by image features, regardless of the meaning or context of presented images. (3) We developed a new source estimation method for measuring and analyzing magnetoencephalography signals with high spatiotemporal resolution. (4) We estimated the representation time for object image information in brain activity patterns and compared it with the latency for eye movement.

Free Research Field

脳神経科学

Academic Significance and Societal Importance of the Research Achievements

ヒトの視線の解析は、ヒトがどのような対象を優先的に処理し、認識するかという基礎的知見を与えるものであり、またその知見は、ヒトへの効率的な情報提示のあり方を考える上で有用であるとともに、注意喚起のための標識や広告、デザインなどへの応用において価値をもつ。特に本研究では、シーンの意味や文脈から独立した純粋な高次特徴量への誘目性があることを見出しているため、画像操作による視線誘引への応用可能性を提示することにも成功しており、その意義は高いと考えられる。また新しい脳活動信号源解析手法は、本研究の枠組みを超えて、ヒト脳磁場信号解析全般への波及効果が大である。