適応的な触覚提示によるVR体験の没入感向上と動作範囲の削減

• Project/Area Number: 19KK0258
• Research Category: Fund for the Promotion of Joint International Research (Fostering Joint International Research (B))
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Tohoku University
• Principal Investigator: 藤田 和之 東北大学, 電気通信研究所, 助教 (70835545)
• Co-Investigator(Kenkyū-buntansha): 高嶋 和毅 東北大学, 電気通信研究所, 准教授 (60533461) ; 北村 喜文 東北大学, 電気通信研究所, 教授 (80294023)
• Project Period (FY): 2019-10-07 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥18,330,000 (Direct Cost: ¥14,100,000、Indirect Cost: ¥4,230,000); Fiscal Year 2022: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000); Fiscal Year 2021: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000); Fiscal Year 2020: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000); Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: バーチャルリアリティ / 触覚提示 / リダイレクテッドウォーキング / ルームスケールVR / ロボティックディスプレイ / 触覚フィードバック

Outline of Research at the Start

本研究では，ヘッドマウントディスプレイを装着し，実際の歩行動作を伴う没入型のバーチャルリアリティ体験において，ユーザに対して適応的に触覚フィードバックを提示することで，体験の没入感を向上させるとともに，体験に必要な動作範囲を削減させることを目的とする．このために，移動・回転可能な自走式の壁面型触覚提示デバイスを提案し，これを制御する手法を確立させる．

Outline of Annual Research Achievements

昨年度から検討を続けてきた，VR空間内での開扉動作時の触覚フィードバック提示とユーザ動作範囲削減（リダイレクション）を同時に実現するシステムRedirectedDoors+について，得られた成果を論文にまとめ，これが国際ジャーナルIEEE TVCGに採択された．また，リダイレクションの効果を高めるための別のアプローチとして，現実空間にある音源（例えば，ユーザがVR体験をしている部屋でテレビの音が聞こえる状況）がリダイレクションの効果に与える影響を明らかにすることを目指した．この初期調査として，VR空間内での回転動作中に現実空間から音手掛かりを提示し，VR空間内のリダイレクションへの知覚と現実空間での音源位置の知覚を同時に測定する実験を実施した．その結果，現実空間内に固定された音源のある条件下では，音源がない条件に比べてリダイレクションにより気づかれにくくなることが示唆された．一方で，この音源のバーチャルな位置をVR空間内でのユーザの回転に整合するように操作した条件では，音源がない条件と比べてリダイレクションに気づかれにくくなる効果は見られず，逆に視覚手掛かりによって音源の定位がずれている様子が観察された．この内容についてまとめた論文も，国際ジャーナルIEEE TVCGに採択された．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は，新型コロナウイルスによる諸々の規制が解除されたことにより，共同研究先（ベルゲン大学）への渡航による研究遂行が実現できた．研究成果としても，これまでの検討の結果が実を結び，本研究課題に関する国際ジャーナル3編を公刊することができた．

Strategy for Future Research Activity

今後は，現在検討を進めている，ユーザの接触部をスクロールさせることによるユーザ追従型触覚提示ロボティックデバイスについて引き続き検討する．

Research Products

• [Int'l Joint Research] University of Bergen(ノルウェー)
• [Int'l Joint Research] Chalmers University of Technology(スウェーデン)
• [Int'l Joint Research] Chalmers University of Technology(スウェーデン)
• [Int'l Joint Research] University of Tronto(カナダ)
• [Int'l Joint Research] University of Toronto(カナダ)
• [Int'l Joint Research] Chalmers University of Technology(スウェーデン)
• [Int'l Joint Research] Chalmers University of Technology(スウェーデン)
• [Int'l Joint Research] University of Canterbury(ニュージーランド)
• [Journal Article] RedirectedDoors+: Door-Opening Redirection with Dynamic Haptics in Room-Scale VR (2024)
  • Author(s): Hoshikawa Yukai、Fujita Kazuyuki、Takashima Kazuki、Fjeld Morten、Kitamura Yoshifumi
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 30 Issue: 5 Pages: 2276-2286
  • DOI: 10.1109/tvcg.2024.3372105
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Exploring Visual-Auditory Redirected Walking using Auditory Cues in Reality (2024)
  • Author(s): Ogawa Kumpei、Fujita Kazuyuki、Sakamoto Shuichi、Takashima Kazuki、Kitamura Yoshifumi
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: to appear Issue: 8 Pages: 1-13
  • DOI: 10.1109/tvcg.2023.3309267
  • Peer Reviewed / Open Access
• [Journal Article] UbiSurface: A Robotic Touch Surface for Supporting Mid-air Planar Interactions in Room-Scale VR (2023)
  • Author(s): Gomi Ryota、Takashima Kazuki、Onishi Yuki、Fujita Kazuyuki、Kitamura Yoshifumi
  • Journal Title: Proceedings of the ACM on Human-Computer Interaction Volume: 7 Issue: ISS Pages: 376-397
  • DOI: 10.1145/3626479
  • Peer Reviewed / Open Access
• [Journal Article] Towards Balancing VR Immersion and Bystander Awareness (2021)
  • Author(s): Yoshiki Kudo, Anthony Tang, Kazuyuki Fujita, Isamu Endo, Kazuki Takashima, Yoshifumi Kitamura
  • Journal Title: Proceedings of the ACM on Human-Computer Interaction Volume: 5 Issue: ISS Pages: 1-22
  • DOI: 10.1145/3486950
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] WaddleWalls: Room-scale Interactive Partitioning System using a Swarm of Robotic Partitions (2022)
  • Author(s): Onishi Yuki、Takashima Kazuki、Higashiyama Shoi、Fujita Kazuyuki、Kitamura Yoshifumi
  • Organizer: The 35th Annual ACM Symposium on User Interface Software and Technology (UIST 2022)
  • Int'l Joint Research
• [Presentation] Demonstration of RedirectedDoors: Manipulating User’s Orientation while Opening Doors in Virtual Reality (2022)
  • Author(s): Hoshikawa Yukai、Fujita Kazuyuki、Takashima Kazuki、Fjeld Morten、Kitamura Yoshifumi
  • Organizer: SIGGRAPH Asia 2022 XR
  • Int'l Joint Research
• [Presentation] Demonstration of PseudoJumpOn: Repetitive Step-up Jump in Virtual Reality (2022)
  • Author(s): Ogawa Kumpei、Fujita Kazuyuki、Takashima Kazuki、Kitamura Yoshifumi
  • Organizer: SIGGRAPH Asia 2022 XR
  • Int'l Joint Research
• [Presentation] PseudoJumpOn: Jumping onto Steps in Virtual Reality (2022)
  • Author(s): Kumpei Ogawa, Kazuyuki Fujita, Kazuki Takashima, Yoshifumi Kitamura
  • Organizer: 2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
  • Int'l Joint Research
• [Presentation] RedirectedDoors: Redirection While Opening Doors in Virtual Reality (2022)
  • Author(s): Yukai Hoshikawa, Kazuyuki Fujita, Kazuki Takashima, Morten Fjeld, Yoshifumi Kitamura
  • Organizer: 2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
  • Int'l Joint Research
• [Presentation] BouncyScreen: Physical Enhancement of Pseudo-Force Feedback (2021)
  • Author(s): Yuki Onishi, Kazuki Takashima, Kazuyuki Fujita, Yoshifumi Kitamura
  • Organizer: 2021 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
  • Int'l Joint Research
• [Presentation] ZoomWalls: Dynamic Walls that Simulate Haptic Infrastructure for Room-scale VR World (2020)
  • Author(s): Yan Yixian, Kazuki Takashima, Anthony Tang, Takayuki Tanno, Kazuyuki Fujita, Yoshifumi Kitamura
  • Organizer: The 33rd Annual ACM Symposium on User Interface Software and Technology (UIST '20)
  • Int'l Joint Research
• [Presentation] 複数の自走壁型プロップを用いたルームスケールVRの空間インフラの遭遇型触覚提示 (2020)
  • Author(s): Yan Yixian, 高嶋 和毅, Anthony Tang, 藤田 和之, 北村 喜文
  • Organizer: インタラクション2020
• [Remarks] 無限に広がるバーチャルリアリティ空間を狭い部屋で歩き回れる新技術を開発
  • URL: https://www.tohoku.ac.jp/japanese/2024/03/press20240314-02-vr.html
• [Remarks] RedirectedDoors
  • URL: https://www.icd.riec.tohoku.ac.jp/project/vr/project_RedirectedDoors.html
• [Remarks] PseudoJumpOn
  • URL: https://www.icd.riec.tohoku.ac.jp/project/vr/project_PseudoJumpOn.html