Musical structuring of environmental information in the auditory interface for the visually impaired

2022 Fiscal Year Annual Research Report

• Project/Area Number: 17K01587
• Research Institution: Kanagawa Institute of Technology
• Principal Investigator: 高尾 秀伸 神奈川工科大学, 創造工学部, 教授 (60329307)
• Co-Investigator(Kenkyū-buntansha): 中根 雅文 慶應義塾大学, 政策・メディア研究科(藤沢), 特任助教 (90383926) [Withdrawn] ; 片山 遼介 神奈川工科大学, 創造工学部, 研究員 (50867447)
• Project Period (FY): 2017-04-01 – 2023-03-31
• Keywords: 視覚障害 / 複合現実 / 立体音響 / インタフェース / 人間工学

Outline of Annual Research Achievements

本研究では、構造化された実世界のオブジェクト(の位置から呈示される仮想音源)に音楽情報(旋律、和音、律動)を構造的に割り当てることで、店舗空間などの屋内施設において重度視覚障害者が単独で周囲の複数の環境情報を低ストレスで同時聴取・認知可能な複合現実ユーザインタフェースの開発を目標として研究実施を行なった。 当初計画に基づき，次の通り実施を行なった。[1] ナビゲーションシステムとしての統合実装:　音楽情報(旋律、和音、律動)を構造的に割り当てることで、店舗空間などの屋内施設を聴覚的に表現するインタフェースを開発した。これに本案件以前に開発したナビゲーションシステムを統合実装した。[2] ユーザビリティ実証評価実験:開発したインタフェースシステムを視覚障害当事者に実際に使 用していただき、人間工学的なユーザビリティ実証評価を行った。 [1]については、PCベースで概念実証用プロトタイプを開発し、携帯情報端末への実装を行ない、音響情報の音源定位精度が使用に耐えることを簡易な聴取実験によって確かめた。 [2]の実証評価実験の実施については、実際の商業店舗において評価実験を行なった。全盲の視覚障害者2名にご協力頂き、開発したインタフェースを使用して評価を行った。実験タスクとして，商業施設内の通路構造情報と店舗情報を把握しながら指定の店舗を探索して頂いた。その結果、2名とも正しく指定店舗に単独で到達することができた。発話プロトコル法の評価結果より、周囲情報を含めて正しく空間認知ができていることがわかった。また、メンタルワークロードも個人差はあるが全般的に低負担であることがわかった。以上より、当初目的であった複合現実ユーザインタフェースの開発を行い概念実証を達成することができた。本研究の知見をより多くの空間や場面に適用できるようにすることで、今後実用化研究につながることが期待される。