Musical structuring of environmental information in the auditory interface for the visually impaired
| Project/Area Number |
17K01587
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Research Field |
Rehabilitation science/Welfare engineering
|
|---|
| Research Institution | Kanagawa Institute of Technology |
|---|
Principal Investigator |
Takao Hidenobu 神奈川工科大学, 創造工学部, 教授 (60329307)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中根 雅文 慶應義塾大学, 政策・メディア研究科(藤沢), 特任助教 (90383926)
片山 遼介 神奈川工科大学, 創造工学部, 研究員 (50867447)
|
|---|
| Project Period (FY) |
2017-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2018: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2017: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 視覚障害 / 立体音響 / 拡張現実 / ユーザインタフェース / 音楽 / 複合現実 / インタフェース / 人間工学 / 聴覚 / 環境情報 / 三次元音響 |
|---|
| Outline of Final Research Achievements |
By structurally assigning music information (melody, chords, rhythm) to virtual sound sources presented from the positions of structured objects in the real world and expressing them spatially using stereophonic sound, indoor facility stores, We have developed a mixed reality user interface that enables severe visually impaired people to hear and perceive multiple environmental information in a space at the same time with low stress. Assuming walking on the concourse of a large commercial facility, we have developed a prototype interface for proof of concept that aurally expresses the location of indoor facilities such as stores. As a result of conducting a walking experiment in an existing commercial facility with the cooperation of two blind and visually impaired persons, they reached the designated store correctly based on auditory information.
|
| Academic Significance and Societal Importance of the Research Achievements |
聴覚・音声情報は物理的には1次元情報であるため、これまで情報の多次元的な表示が困難であるとされてきた。これに対して本研究では立体音響を用いて空間情報を付加した聴覚・拡張現実空間に加え、音楽情報空間という一種の認知的な情報空間を付加することで、複合現実空間を表現することに成功した。これにより、重度視覚障害者がより多くの環境情報を一度に認知できるようになる可能性が示された。今後はさらに研究を発展させることにより，当事者が健常者と同様に単独で外出先で楽しむことができるというUXが提供できるようになれば、日常生活行動の幅を拡げ、QOLの向上に寄与することが期待される。
|
Report
(7 results)
Research Products
(5 results)
