A proof-of-concept study of augmented cross-modality in VR space

2020 Fiscal Year Annual Research Report

• Project/Area Number: 18K11411
• Research Institution: Waseda University
• Principal Investigator: 河合 隆史 早稲田大学, 理工学術院, 教授 (90308221)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: バーチャルリアリティ / クロスモダリティ / 生体情報 / ユーザ体験

Outline of Annual Research Achievements

本研究では、VRにおけるヒューマンインタフェース／インタラクションの構築にかかるアプローチとしてクロスモダリティに着目し、新たな概念としての「拡張クロスモダリティ」を提案する。拡張クロスモダリティとは「所望する感覚や体験に伴う生体情報を、感覚刺激として表現・付加して呈示する」アプローチと定義する。拡張クロスモダリティによって、VR空間で生起される感覚・体験強度の増進やアプリケーションの明確化について、実証実験を通して検討を行うことが、本研究の目的である。
前年度は、当初計画に従い、他者の生体情報や周囲環境を計測し、感覚情報として表現する「憑依」様体験のコンテンツ制作に取り組んだ。憑依する他者としてフェンシング選手を選定し、まず、VRカメラに向かってシャドーフェンシングを求めた。次に、その様子をVR空間に再現し、当該選手に自身との対戦を求め、その間の生体情報を測定した。具体的には当該選手の頭部や視線、手や腕の動き、心拍を測定するとともに、試合中の周囲環境の見え方や音の聴こえ方の主観的な変化についてインタビューを行った。さらに、得られたデータを分析・統合し、VRコンテンツとして体験可能なフォーマットに変換した。
最終年度となる今年度は、前年度に構築したコンテンツを対象として、実証実験を行った。具体的には、コンテンツ内での感覚情報の表現に用いた、注視点のマーキングの効果と、VR空間内の参加者の前腕に選手の動きを合成する効果を検討する、二つの実験を行った。前者の結果からは、注視点のマーキングによって、参加者の視線が選手の注視点の近傍に有意に誘導されることが分かった。一方、後者の結果からは、VR空間内の参加者の前腕に選手の動きを合成しても、身体所有感や運動主体感に変化はみられず、一部の参加者に類似した前腕の動きが誘発されることが示唆された。