• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Musical structuring of environmental information in the auditory interface for the visually impaired

Research Project

Project/Area Number 17K01587
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Rehabilitation science/Welfare engineering
Research InstitutionKanagawa Institute of Technology

Principal Investigator

Takao Hidenobu  神奈川工科大学, 創造工学部, 教授 (60329307)

Co-Investigator(Kenkyū-buntansha) 中根 雅文  慶應義塾大学, 政策・メディア研究科(藤沢), 特任助教 (90383926)
片山 遼介  神奈川工科大学, 創造工学部, 研究員 (50867447)
Project Period (FY) 2017-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2018: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2017: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords視覚障害 / 立体音響 / 拡張現実 / ユーザインタフェース / 音楽 / 複合現実 / インタフェース / 人間工学 / 聴覚 / 環境情報 / 三次元音響
Outline of Final Research Achievements

By structurally assigning music information (melody, chords, rhythm) to virtual sound sources presented from the positions of structured objects in the real world and expressing them spatially using stereophonic sound, indoor facility stores, We have developed a mixed reality user interface that enables severe visually impaired people to hear and perceive multiple environmental information in a space at the same time with low stress. Assuming walking on the concourse of a large commercial facility, we have developed a prototype interface for proof of concept that aurally expresses the location of indoor facilities such as stores. As a result of conducting a walking experiment in an existing commercial facility with the cooperation of two blind and visually impaired persons, they reached the designated store correctly based on auditory information.

Academic Significance and Societal Importance of the Research Achievements

聴覚・音声情報は物理的には1次元情報であるため、これまで情報の多次元的な表示が困難であるとされてきた。これに対して本研究では立体音響を用いて空間情報を付加した聴覚・拡張現実空間に加え、音楽情報空間という一種の認知的な情報空間を付加することで、複合現実空間を表現することに成功した。これにより、重度視覚障害者がより多くの環境情報を一度に認知できるようになる可能性が示された。今後はさらに研究を発展させることにより,当事者が健常者と同様に単独で外出先で楽しむことができるというUXが提供できるようになれば、日常生活行動の幅を拡げ、QOLの向上に寄与することが期待される。

Report

(7 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • 2018 Research-status Report
  • 2017 Research-status Report
  • Research Products

    (5 results)

All 2021 2019 2018

All Presentation (5 results)

  • [Presentation] 携帯端末実装型立体聴覚ARインタフェースの音像定位精度の検証2021

    • Author(s)
      余宮岳斗、片山遼介、高尾秀伸
    • Organizer
      日本人間工学会第29回システム大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 音楽的表現を用いた視覚障害者向け三次元空間情報呈示インタフェースの開発2019

    • Author(s)
      石田大顕、片山遼介、高尾秀伸
    • Organizer
      日本人間工学会第27回システム大会
    • Related Report
      2018 Research-status Report
  • [Presentation] スクリーン・リーダーの発話内容を聴き直す際の挙動に関する調査2019

    • Author(s)
      中根雅文、片山遼介、高尾秀伸
    • Organizer
      日本人間工学会第27回システム大会
    • Related Report
      2018 Research-status Report
  • [Presentation] 視覚障害向け店舗内聴覚インタフェースにおける環境情報の音楽的構造化2018

    • Author(s)
      片山遼介、高尾秀伸
    • Organizer
      日本人間工学会第26回システム大会
    • Related Report
      2017 Research-status Report
  • [Presentation] 視覚障害者による製品識別情報読み取り迅速性の計測2018

    • Author(s)
      中根雅文,片山遼介,高尾秀伸
    • Organizer
      日本人間工学会第26回システム大会
    • Related Report
      2017 Research-status Report

URL: 

Published: 2017-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi