Mechanism and presentation of unique auditory and tactile texture perceptions by visually impaired and deaf-blind people

• Project Area: Understanding human recognition of material properties for innovation in SHITSUKAN science and technology
• Project/Area Number: 18H05000
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 三浦 貴大 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80637075)
• Project Period (FY): 2018-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥8,320,000 (Direct Cost: ¥6,400,000、Indirect Cost: ¥1,920,000); Fiscal Year 2019: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2018: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
• Keywords: 視覚障害 / 聴覚・触覚でのマルチモーダル知覚 / インクルーシブゲーム / 触覚ディスプレイ / 項目反応理論 / 感覚代行 / スピーカマトリクス / 障害物知覚 / 盲ろう / 視覚・聴覚・触覚での質感 / 提示インタフェース / 聴覚・触覚での質感

Outline of Annual Research Achievements

1) 全盲者における聴覚・触覚におけるマルチモーダル知覚に関する調査・応用：大きく，視覚障害者向けマップビューアの開発と，触覚ディスプレイを内蔵したゲームコントローラTactConとインクルーシブゲームの開発および博物館での展示評価とを実施した．後者においては，ゲームプレイの巧緻性を既存インタフェースを利用した場合と比較評価した．なお，TactConは，ゲームパッドの両肩部に32chのピンマトリクスディスプレイを取り付けたものである．結果より，TactConを用いたプレイヤーのクリア率が最も高かった．また，クリアした者において，ステージ要素ごとの所要時間を用いて，項目反応理論で標準スコア化したもので評価した結果，やはりTactConを用いた者が最も早いという結果となった．さらに，この項目反応理論を用いた手法と，線形計画法を組み合わせる事で，評価用ステージの最適化手法を提案・評価した．
2) 視覚障害者の聴覚による感覚代行に関する解説記事の執筆：視覚障害者に報告される独自の知覚系の他，感覚代行システムに関する研究をレビューした．
3) 全盲者が聴覚的に感じる空間に関する知覚の分析・提示システムの開発：全盲者の音源定位能力を活かして二次元パタンを提示するスピーカマトリクスの開発において，定位しやすい音源がホワイトノイズである点を明らかにした．ただし，二次元パタン上の角を強調する場合，パルス列を提示する方が良い可能性も示した．この他，全盲者が障害物の存在感・距離感を知覚する際，両耳聴および頭部回転運動が寄与しうるかを調査・分析した．この際，障害物の距離・幅を制御した．分散分析の結果より，存在感に関して，両耳聴/単耳聴・頭部回転運動，障害物の幅・距離すべてで有意な主効果が確認された．一方で，距離感については，両耳聴/単耳聴，障害物の幅・距離の3要因で有意な主効果が確認された．

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Auditory perceptual world in people with visual impairments: Sensory substitution and sound-based assistive technology (2021)
  • Author(s): 三浦 貴大
  • Journal Title: THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN Volume: 77 Issue: 3 Pages: 199-207
  • DOI: 10.20697/jasj.77.3_199
  • NAID: 130008013947
  • ISSN: 0369-4232, 2432-2040
  • Year and Date: 2021-03-01
  • Open Access
• [Journal Article] Loudspeaker matrix that presents 2-D diagram for visually impaired people (2020)
  • Author(s): 三浦 貴大, 鈴木 淳也, 藪 謙一郎, 上田 一貴, 伊福部 達
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 25 Issue: 3 Pages: 228-231
  • DOI: 10.18974/tvrsj.25.3_228
  • NAID: 130007920719
  • ISSN: 1344-011X, 2423-9593
  • Year and Date: 2020-09-30
  • Peer Reviewed
• [Journal Article] Reality Varied by Visions: Requirements of Immersive Virtual Reality Content for Users with Low-Vision (2020)
  • Author(s): Takahiro Miura, Toshiki Izumi, Junji Onishi, Masaki Matsuo, Masatsugu Sakajiri
  • Journal Title: Journal of Technology and Person with Disabilities Volume: 8 Pages: 170-195
  • Peer Reviewed / Open Access
• [Journal Article] OTASCE Map: A Mobile Map Tool with Customizable Audio-Tactile Cues for the Visually Impaired (2020)
  • Author(s): Masaki Matsuo, Takahiro Miura, Ryosuke Ichikari, Karimu Kato, Takeshi Kurata
  • Journal Title: Journal of Technology and Person with Disabilities Volume: 8 Pages: 82-103
  • Peer Reviewed / Open Access
• [Journal Article] GAME: Game As a Measurement Environment: Scheme to Evaluate Interfaces and Game Contents Based on Test Theories (2020)
  • Author(s): Miura Takahiro, Matsuo Masaki, Yabu Ken-ichiro, Katagiri Atsushi, Sakajiri Masatsugu, Onishi Junji, Kurata Takeshi, Ifukube Tohru
  • Journal Title: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies Volume: 4 Issue: 4 Pages: 1-30
  • DOI: 10.1145/3432702
  • Peer Reviewed / Open Access
• [Journal Article] Virtual Museum for People with Low Vision: Comparison of the Experience on Flat and Head-Mounted Displays (2018)
  • Author(s): Takahiro Miura, Gentaro Ando, Junji Onishi, Masaki Matsuo, Masatsugu Sakajiri, Tsukasa Ono
  • Journal Title: Lecture Notes in Computer Science Volume: 10897 Pages: 246-249
  • DOI: 10.1007/978-3-319-94274-2_34
  • ISBN: 9783319942735, 9783319942742
  • Peer Reviewed
• [Presentation] スクリーンリーダーでのWebサイト閲覧体験の向上に関する研究 (2020)
  • Author(s): 大塚 勇哉, 三浦 貴大, 松尾 政輝, 坂尻 正次, 岡本 健, 大西 淳児
  • Organizer: 第29回ライフサポート 学会 フロンティア講演会
• [Presentation] 双方向コミュニケーションを目指した盲ろう者支援の改善策とその提案 (2020)
  • Author(s): 富川 尚樹, 三浦 貴大, 福永 克己, 大西 淳児, 坂尻 正次
  • Organizer: 第29回ライフサポート 学会 フロンティア講演会
• [Presentation] リアルタイム多感覚提示を行うインクルーシブアクションゲーム: 触覚提示付きゲームコントローラ (TactCon) を導入したゲームの開発と利用時の評価 (2019)
  • Author(s): 松尾 政輝, 三浦 貴大, 藪 謙一郎, 片桐 淳, 坂尻 正次, 大西 淳児, 蔵田 武志, 伊福部 達
  • Organizer: 情報処理学会 アクセシビリティ研究会
• [Presentation] 音と触覚をカスタマイズ可能なマッピングツール『オタスケマップ』 モバイル端末用マップビューアの開発と視覚障害者による評価 (2019)
  • Author(s): 松尾 政輝, 三浦 貴大, 一刈 良介, 加藤 狩夢, 蔵田 武志
  • Organizer: HCGシンポジウム2019
• [Presentation] 弱視者におけるHMD用全天球VRコンテンツの没入感に関する研究 (2019)
  • Author(s): 泉隼樹, 三浦貴大, 松尾政輝, 坂尻正次, 岡本健, 大西淳児
  • Organizer: 第28回 ライフサポート学会 フロンティア講演会
• [Presentation] Tactule: Tactile display modules utilizing multilayer-bimorph piezoelectric vibrators --Their applications in tactile game controllers (TactCon)-- (2019)
  • Author(s): Takahiro Miura, Atsushi Katagiri, Ken-ichiro Yabu, Masaki Matsuo, Masatsugu Sakajiri, Tohru Ifukube
  • Organizer: IEEE World Haptics Conference 2019
  • Int'l Joint Research