• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of methods for estimating and guiding human auditory and visual attentions

Research Project

Project/Area Number 20K21824
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionAdvanced Telecommunications Research Institute International

Principal Investigator

Utsumi Akira  株式会社国際電気通信基礎技術研究所, インタラクション科学研究所, 研究室長 (80395152)

Project Period (FY) 2020-07-30 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2020: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Keywords視覚注意 / 聴覚注意 / AAD / 眼球運動 / 深層学習 / 視認難易度 / 注意誘導 / 注意制御 / マイクロサッカード / 視聴覚 / マルチモーダル
Outline of Research at the Start

本研究では、視覚と聴覚という異なるモダリティ間の注意移動を含むヒトの注意レベルの変化をリアルタイムで推定し、ヒトの注意を適応的に誘導する手法の開発に向けた基礎検討を行う。特に視覚注意・聴覚注意に関連して観測される眼球運動のマイクロサッカードの高精度計測と、AAD (Auditory Attention Decoding)の手法を組み合わせて「視覚注意優位」、「聴覚注意優位」の2状態の判別および各注意状態における注意対象の推定を試みる。推定結果を利用した注意誘導の初期実装を行い、複数モダリティにまたがる自身の注意を注意状態のフィードバックによって誘導する革新的な方法論を確立する。

Outline of Final Research Achievements

For detecting and inducing human attentions, we have implemented and evaluated AAD (Auditory Attention Decoding) algorithm, which is an auditory attention estimation method based on EEG signals. We have also proposed and examined a deep learning method with a sequential personalization mechanism for head and eye movement measurements. Furthermore, we have implemented a visual search task assistance method where human visual cognition for a target stimulus is estimated based on the visual cognition difficulty of the target and human gaze behavior.

Academic Significance and Societal Importance of the Research Achievements

ヒトの注意状態の把握は日常生活の様々なタスクの支援において重要である。ヒトの注意資源は限られており、複数の注意対象のうち一方に注意を向ければ他方の情報を認知することが困難となる。本研究で検討した視覚注意・聴覚注意の計測・推定手法を発展させることによって、視覚と聴覚という異なるモダリティ間の注意移動を含むヒトの注意レベルの変化をリアルタイムで推定し、ヒトの注意を適応的に誘導する手法の開発が可能となる。

Report

(3 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • Research Products

    (6 results)

All 2022 2021

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (5 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Personalized face-pose estimation network using incrementally updated face shape parameters2022

    • Author(s)
      Makoto Sei, Akira Utsumi, Hirotake Yamazoe, Joo-Ho Lee
    • Journal Title

      Applied Intelligence

      Volume: - Issue: 10 Pages: 11506-11516

    • DOI

      10.1007/s10489-021-02888-0

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Presentation] 視認難易度に基づく視認推定と VR環境における視覚探索タスク支援への応用2021

    • Author(s)
      吉田竣亮、施真琴、内海章、山添大丈
    • Organizer
      画像の認識・理解シンポジウムMIRU2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] 視認推定に基づく視覚探索タスク支援のための VR環境における有効性評価2021

    • Author(s)
      吉田竣亮、施真琴、内海章、山添大丈
    • Organizer
      第22回計測自動制御学会システムインテグレーション部門講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 視認推定に基づく視覚探索タスク支援と VR環境における有効性評価2021

    • Author(s)
      吉田竣亮、施真琴、内海章、山添大丈
    • Organizer
      情報処理学会インタラクション2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] Evaluation of Driver’s Sense of Control in Lane Change Maneuvers with a Cooperative Steering Control System2021

    • Author(s)
      Kohei Tatsumi, Akira Utsumi, Tetsushi Ikeda, Yumiko O. Kato, Isamu Nagasawa, Kazuhiko Takahashi
    • Organizer
      13th International ACM Conference on Automotive User Interfaces and Interactive Vehicular Applications
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 視認推定に基づく視覚探索タスク支援とVR環境における有効性評価2021

    • Author(s)
      吉田竣亮, 施真琴, 内海章, 山添大丈
    • Organizer
      第25回一般社団法人情報処理学会シンポジウム インタラクション2021
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-08-03   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi