VR空間における拡張クロスモダリティの概念実証

2018 年度 実施状況報告書

• 研究課題/領域番号: 18K11411
• 研究機関: 早稲田大学
• 研究代表者: 河合 隆史 早稲田大学, 理工学術院, 教授 (90308221)
• 研究期間 (年度): 2018-04-01 – 2021-03-31
• キーワード: バーチャルリアリティ / クロスモダリティ / 生体情報 / ユーザ体験

研究実績の概要

本研究では、VRにおけるヒューマンインタフェース／インタラクションの構築にかかるアプローチとしてクロスモダリティに着目し、新たな概念としての「拡張クロスモダリティ」を提案する。拡張クロスモダリティとは「所望する感覚や体験に伴う生体情報を、感覚刺激として表現・付加して呈示する」アプローチと定義する。拡張クロスモダリティによって、VR空間で生起される感覚・体験強度の増進やアプリケーションの明確化について、実証実験を通して検討を行うことが、本研究の目的である。
初年度は、VR空間における重さ感覚を対象として、拡張クロスモダリティのアプローチによる実験系を構築し、実証実験を行った。具体的には、力をこめているときの生体情報を分析・変換・表現することで、所望とする感覚や体験に及ぼす影響について検討した。
われわれが力をこめる際の生体情報の変化として、筋肉の緊張に伴うけいれん様の運動や、心拍数の上昇、顔面の紅潮などの生起を挙げることができる。そこで拡張クロスモダリティのアプローチとして、こうした筋肉の緊張に伴う生体情報の変化を、把持するコントローラの振動や、VRヘッドセットで呈示される手のCGモデルの色変化や心音に変換・表現した。実験の結果から、ほとんどの参加者が力み感の増大を体験し、さらに実際にコントローラを握る力や握り方が変化することも確認されたことから、当該アプローチの有効性を認めるに至った。このことは、クロスモダリティの課題である錯覚強度の不足を解決する可能性を示唆している。

現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

当初の計画では、初年度はシステム要件の検討を挙げていたが、実証実験で構築した変換・表現系の有効性を認めることができた。そのため、当該実験の結果を国際学会の論文誌に投稿したところ、採録されるに至ったため[1]。
[1] Y. Hirao, T. Kawai: Augmented cross-modality: translating the physiological responses, knowledge and impression to audio-visual information in virtual reality, Journal of Imaging Science and Technology, 62(6), 2018.

今後の研究の推進方策

当初計画に従い、他者の生体情報や周囲環境を計測し、感覚情報として表現する「憑依」様体験の実験系を構築し、実証実験を通して概念実証にかかる知見の取得に取り組んでいく予定である。

研究成果

• [雑誌論文] Augmented Cross-modality: Translating the Physiological Responses, Knowledge and Impression to Audio-visual Information in Virtual Reality (2018)
  • 著者名/発表者名: Hirao Yutaro、Kawai Takashi
  • 雑誌名: Journal of Imaging Science and Technology 巻: 62 ページ: 60402～1-60402-8
  • DOI: 10.2352/J.ImagingSci.Technol.2018.62.6.060402
  • 査読あり