A Method for Constructing a Pseudo-Sensation of Body Movement Based on Integrating Multisensory Cues and Transforming Body Schema

• Project/Area Number: 21H04883
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: 雨宮 智浩 東京大学, 情報基盤センター, 教授 (70396175)
• Co-Investigator(Kenkyū-buntansha): 池井 寧 東京大学, 大学院情報理工学系研究科, 教授 (00202870) ; 廣瀬 通孝 東京大学, 先端科学技術研究センター, 名誉教授 (40156716) ; 青山 一真 群馬大学, 情報学部, 准教授 (60783686)
• Project Period (FY): 2021-04-05 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥41,860,000 (Direct Cost: ¥32,200,000、Indirect Cost: ¥9,660,000); Fiscal Year 2025: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000); Fiscal Year 2024: ¥6,890,000 (Direct Cost: ¥5,300,000、Indirect Cost: ¥1,590,000); Fiscal Year 2023: ¥9,750,000 (Direct Cost: ¥7,500,000、Indirect Cost: ¥2,250,000); Fiscal Year 2022: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000); Fiscal Year 2021: ¥12,350,000 (Direct Cost: ¥9,500,000、Indirect Cost: ¥2,850,000)
• Keywords: 身体錯覚 / 体性感覚 / 感覚間相互作用 / VR / GVS / 身体感覚 / 歩行感覚 / メタバース / 身体近傍空間 / 歩行

Outline of Research at the Start

現在の遠隔ビデオ会議システムでは身体運動の伝達に課題があることが明らかになってきた．本研究の目的は，中枢から筋への運動指令なしで，感覚間相互作用により身体に関する潜在的知識(身体図式)を更新させ，実際の身体運動で生じる感覚情報とのゲイン調整を適切に行うことによって擬似的な身体移動体験を創出する手法の確立と適用限界の検証である．多様な身体移動体験を多様な利用者に対して安定して提供するため，(A)自然な擬似移動体験を成立させる多感覚統合のために必要な感覚情報のゲイン調整手法， (B)身体錯覚による身体移動体験の拡張条件, (C)多様な身体移動体験の創出手法の有用性と適用限界を明らかにする．

Outline of Annual Research Achievements

本研究課題は，身体運動感覚への適切な刺激によって，実際の身体運動で生じる感覚情報とのゲイン調整を適切に行い，それによって擬似的な身体移動体験を創出する手法の確立と適用限界の検証を目的としている．2022年度はVR空間での運動や移動感覚を中心に実験を行った．
まず，着座姿勢のユーザに対して，曲線上を歩くような擬似的な歩行感覚の提示手法について調べた．ヨー回転を含む３自由度のモーションチェアを開発し，歩行する映像に同期させたヨー軸回転刺激によって歩行感覚が高まることを確認した．また，モーションチェアのような機械的な刺激だけでなく，前庭電気刺激(GVS)の利用や，乳様突起部への振動刺激による加速度感覚の提示の可能性について調べた．
立位姿勢のユーザに対して，足裏への振動刺激によって飛行感覚を生成できるかを調べた．ジェット噴射する水上浮遊体験のようなVR体験が実現できること，足裏への振動刺激に適した振動周波数が存在することを確認した．
続いて，実際の手の動きとは対応していないアバタの手の動きによって，力覚の知覚が変化することと，その時間特性を調べた．また，腱振動刺激によって腕の姿勢の曖昧さを高め，アバタと手の乖離が生み出す力覚知覚について調べた．腱振動刺激が感覚情報のノイズとして寄与することで，Pseudo-haptics効果の知覚閾値を拡大することを示した．
また，前年度に実施した足首への腱への電気刺激の研究を発展させ，腕への電気神経刺激によって触覚が提示可能かを確認した．手首の周囲に配置した電極によって手のひらや指先といった遠隔位置に触覚を生起させることができ，擬似的な身体移動体験のためのディスプレイの装着位置に関する検証を行った．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

COVID-19の世界的流行により，感染対策を実施しながら外部被験者実験を実施し，本研究課題の目標に向かって着実にトライアルが進んでいる．COVID-19の影響で，国際会議の研究報告などが一部できなかったが，論文誌投稿などは計画通り進んでいる．

Strategy for Future Research Activity

外部被験者を含めた評価実験の頻度を高め，計画的な論文発表を行う．また，研究成果の見せ方として，実演展示などを含めた手段の検討を再開する．

Research Products

• [Journal Article] メタバース/VR 技術により加速する 教育 DX (2023)
  • Author(s): 雨宮智浩
  • Journal Title: 日本労働研究雑誌 Volume: 5 Pages: 65-73
  • Open Access
• [Journal Article] Multi Surface Electrodes Nerve Bundles Stimulation on the Wrist: Modified Location of Tactile Sensation on the Palm (2023)
  • Author(s): Ogihara Shuto、Amemiya Tomohiro、Kuzuoka Hideaki、Narumi Takuji、Aoyama Kazuma
  • Journal Title: IEEE Access Volume: 11 Pages: 13794-13809
  • DOI: 10.1109/access.2023.3243175
  • Peer Reviewed / Open Access
• [Journal Article] Leveraging Tendon Vibration to Enhance Pseudo-Haptic Perceptions in VR (2023)
  • Author(s): Yutaro Hirao, Tomohiro Amemiya, Takuji Narumi, Ferran Argelaguet, Anatole Lecuyer
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 30 Issue: 8 Pages: 1-15
  • DOI: 10.1109/tvcg.2023.3310001
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Improving a Sense of Flying up and down in a Standing Position by Foot-Sole Vibrations in Virtual Environments (2022)
  • Author(s): 大倉 直也、松本 啓吾、鳴海 拓志、葛岡 英明、雨宮 智浩
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 27 Issue: 4 Pages: 369-379
  • DOI: 10.18974/tvrsj.27.4_369
  • ISSN: 1344-011X, 2423-9593
  • Year and Date: 2022-12-28
  • Peer Reviewed / Open Access
• [Journal Article] Yaw-rotational Vestibular Stimulation for Virtual Turning Walking (2022)
  • Author(s): 海野みのり, ヤェム ヴィボル, 雨宮智浩, 北崎充晃, 池井 寧
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 27 Issue: 1 Pages: 29-32
  • DOI: 10.18974/tvrsj.27.1_29
  • ISSN: 1344-011X, 2423-9593
  • Year and Date: 2022-03-31
  • Peer Reviewed / Open Access
• [Journal Article] Influence of hand-arm self-avatar motion delay on the directional perception induced by an illusory sensation of being twisted (2022)
  • Author(s): Tomohiro Amemiya
  • Journal Title: Scientific Reports Volume: 12 Issue: 1 Pages: 6626-6626
  • DOI: 10.1038/s41598-022-10543-y
  • Peer Reviewed / Open Access
• [Journal Article] Sensation of Anteroposterior and Lateral Body Tilt Induced by Electrical Stimulation of Ankle Tendons (2022)
  • Author(s): Takahashi Nozomi、Amemiya Tomohiro、Narumi Takuji、Kuzuoka Hideaki、Hirose Michitaka、Aoyama Kazuma
  • Journal Title: Frontiers in Virtual Reality Volume: 3 Pages: 800884-800884
  • DOI: 10.3389/frvir.2022.800884
  • Peer Reviewed / Open Access
• [Journal Article] Modulation of walking speed by the change in motion and shape of the virtual avatar moving alongside (2021)
  • Author(s): 谷崎 充, 松本 啓吾, 鳴海 拓志, 葛岡 英明, 雨宮 智浩
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 26 Issue: 3 Pages: 208-218
  • DOI: 10.18974/tvrsj.26.3_208
  • NAID: 130008094819
  • ISSN: 1344-011X, 2423-9593
  • Year and Date: 2021-09-30
  • Peer Reviewed / Open Access
• [Journal Article] TeleParallax: Low-Motion-Blur Stereoscopic System With Correct Interpupillary Distance for 3D Head Rotations (2021)
  • Author(s): Amemiya Tomohiro、Aoyama Kazuma、Hirose Michitaka
  • Journal Title: Frontiers in Virtual Reality Volume: 2 Pages: 726285-726285
  • DOI: 10.3389/frvir.2021.726285
  • Peer Reviewed / Open Access
• [Presentation] Nikolaos Chatziantoniou, Akimi Oyanagi, Kenichiro Ito, Kazuma Aoyama, Hideaki Kuzuoka, Tomohiro Amemiya (2023)
  • Author(s): Inducing joint attention between users by visual guidance with blur effects
  • Organizer: In Proceedings of IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)
  • Int'l Joint Research
• [Presentation] 雨宮智浩 (2023)
  • Author(s): メタバースの教育訓練への活用
  • Organizer: 一般社団法人日本オプトメカトロニクス協会 デジタル・イメージング技術部会_2022年度第3回講演会
  • Invited
• [Presentation] 近藤哲太, 平尾悠太朗, 鳴海拓志, 雨宮智浩 (2022)
  • Author(s): 乳様突起への骨伝導振動刺激が上下ベクションに与える効果の検証
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] 小山大嘉，青山一真，鳴海拓志，葛岡英明，雨宮智浩 (2022)
  • Author(s): 前庭電気刺激を用いた着座姿勢における疑似歩行感覚の生起
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] 平尾悠太朗，雨宮智浩，鳴海拓志，Argelaguet Ferran，Lecuyer Anatole (2022)
  • Author(s): VRにおけるpseudo-hapticsの拡張を目的とした腱振動の活用
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] Shuto Ogihara, Tomohiro Amemiya, Kazuma Aoyama (2022)
  • Author(s): Transcutaneous Electrical Nerve Stimulation along the Base of the Finger to Modify the Location of Tactile Sensation at the Finger
  • Organizer: In Proceedings of IEEE ISMAR
  • Int'l Joint Research
• [Presentation] 雨宮智浩 (2022)
  • Author(s): 豊かなVR体験を産み出す五感提示技術
  • Organizer: 一般財団法人 総合研究奨励会
  • Invited
• [Presentation] 雨宮智浩 (2022)
  • Author(s): メタバースが拓く大学の未来
  • Organizer: 電子情報通信学会CSWS
  • Invited
• [Presentation] Tomohiro Amemiya (2022)
  • Author(s): Educational applications of Metaverse and VR technology: possibilities and limitations
  • Organizer: International Symposium 1: The Metaverse and XR Technology _ Educational Applications and International Collaboration
  • Int'l Joint Research / Invited
• [Presentation] Tomohiro Amemiya (2022)
  • Author(s): Metaverse Applied Research and Technologies
  • Organizer: The 29th International Display Workshops (IDW '22)
  • Int'l Joint Research / Invited
• [Presentation] Virtual Walking Generator from Omnidirectional Video with Ground-dependent Foot Vibrations. (2021)
  • Author(s): Junya Nakamura,Yusuke Matsuda,Tomohiro Amemiya,Yasushi Ikei,Michiteru Kitazaki
  • Organizer: IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops
  • Int'l Joint Research
• [Presentation] Feedback of Rotational Sensation Experienced by Body for Immersive Telepresence. (2021)
  • Author(s): Vibol Yem,Tsubasa Morita,Tomohiro Amemiya,Michiteru Kitazaki,Yasushi Ikei
  • Organizer: SIGGRAPH 2021: Special Interest Group on Computer Graphics and Interactive Techniques Conference
  • Int'l Joint Research
• [Presentation] Novel Motion Display for Virtual Walking. (2021)
  • Author(s): Minori Unno, Ken Yamaoka, Vibol Yem, Tomohiro Amemiya, Michiteru Kitazaki, Yasushi Ikei
  • Organizer: Human Interface and the Management of Information. Information-Rich and Intelligent Environments - Thematic Area
  • Int'l Joint Research
• [Presentation] Perception of Illusory Body Tilt Induced by Electrical Tendon Stimulation. (2021)
  • Author(s): Nozomi Takahashi, Tomohiro Amemiya,Takuji Narumi, Hideaki Kuzuoka, Michitaka Hirose, Kazuma Aoyama
  • Organizer: Human Interface and the Management of Information. Information Presentation and Visualization - Thematic Area
  • Int'l Joint Research
• [Book] トコトンやさしいVRの本 第2版 (2022)
  • Author(s): 廣瀬通孝 (監修), 東京大学バーチャルリアリティ教育研究センター (編)
  • Total Pages: 160
  • Publisher: 日刊工業新聞社
  • ISBN: 4526082406
• [Book] ＶＲ／ＡＲ技術における感覚の提示、拡張技術と最新応用事例 (2021)
  • Author(s): 執筆者:64名、技術情報協会
  • Total Pages: 576
  • Publisher: 技術情報協会
  • ISBN: 4861048508