Development of methods for estimating and guiding human auditory and visual attentions

2021 Fiscal Year Final Research Report

• Project/Area Number: 20K21824
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Advanced Telecommunications Research Institute International
• Principal Investigator: Utsumi Akira 株式会社国際電気通信基礎技術研究所, インタラクション科学研究所, 研究室長 (80395152)
• Project Period (FY): 2020-07-30 – 2022-03-31
• Keywords: 視覚注意 / 聴覚注意 / AAD / 眼球運動 / 深層学習

Outline of Final Research Achievements

For detecting and inducing human attentions, we have implemented and evaluated AAD (Auditory Attention Decoding) algorithm, which is an auditory attention estimation method based on EEG signals. We have also proposed and examined a deep learning method with a sequential personalization mechanism for head and eye movement measurements. Furthermore, we have implemented a visual search task assistance method where human visual cognition for a target stimulus is estimated based on the visual cognition difficulty of the target and human gaze behavior.

Free Research Field

ヒューマンインタフェース

Academic Significance and Societal Importance of the Research Achievements

ヒトの注意状態の把握は日常生活の様々なタスクの支援において重要である。ヒトの注意資源は限られており、複数の注意対象のうち一方に注意を向ければ他方の情報を認知することが困難となる。本研究で検討した視覚注意・聴覚注意の計測・推定手法を発展させることによって、視覚と聴覚という異なるモダリティ間の注意移動を含むヒトの注意レベルの変化をリアルタイムで推定し、ヒトの注意を適応的に誘導する手法の開発が可能となる。