Application of cross-modal weak-haptic illusion to VR interface

Research Project

Project/Area Number	17K00278
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Research Field	Human interface and interaction
Research Institution	Waseda University (2018-2019) Aoyama Gakuin University (2017)
Principal Investigator	Morikawa Hiroyuki 早稲田大学, 理工学術院, 客員主任研究員(研究院客員准教授) (90386673)
Project Period (FY)	2017-04-01 – 2020-03-31
Project Status	Completed (Fiscal Year 2019)
Budget Amount *help	¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000) Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000) Fiscal Year 2018: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000) Fiscal Year 2017: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	クロスモーダル / VR / AR / インタフェース / HMD / システム構築 / マルチモーダルインターフェース / バーチャルリアリティ / ユーザインターフェース
Outline of Final Research Achievements	The cross-modal sensory presentation is an important factor in the future technology for constructing VR content.In this study, we evaluate the effect for cross-modal haptic illusion on the user interface in VR. We considered the UI of these systems through the construction of concrete VR and AR contents.As a result, the problem of UI using hand gestures was clarified in these systems. In addition, we developed a control method to represent the hand body parts in VR by using visual feedback reflecting the physical interaction between the hand and the virtual object.
Academic Significance and Societal Importance of the Research Achievements	本研究では，VR・ARのUI操作における身体表現に，クロスモーダル表現を応用して触錯覚を誘発し，その操作感や作業の達成感を向上させる手法の開発を目指した．具体的なVR・ARコンテンツによるUI制御の検討によって，身体動作による操作UIの適用性については今後も検討が必要であることが分かった．さらにクロスモーダルな身体表現のフィードバックによる，触感呈示には一定の効果が期待されたが，より詳細な評価検討が必要であった． VR・ARにおけるクロスモーダル錯覚による感覚呈示は，今後これらのコンテンツを構築する技術として重要な要因となると考えられ，本研究の知見は基礎的な検討として有用であると位置づけられる．