• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Multibody cognition in a remote multitask system

Research Project

Project/Area Number 21K19785
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionThe University of Tokyo

Principal Investigator

Ikei Yasushi  東京大学, 大学院情報理工学系研究科, 教授 (00202870)

Co-Investigator(Kenkyū-buntansha) ヤェム ヴィボル  筑波大学, システム情報系, 准教授 (20808258)
Project Period (FY) 2021-07-09 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2022: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2021: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Keywordsremote / avatar robot / tele XR / 代理身体 / 遠隔 / 遠隔タスク / 身体認知
Outline of Research at the Start

本研究では,1人のオペレータが,遠隔に送った4台の代理身体(アバタロボット)を同時に操ってタスクを並行に実行するために必要となる身体認知の手法を探求する.自己の移動と操作を再現する代理身体で遠隔に臨場し,MR空間シミュレーションで意図する操作を予行し,後にそれを自律実行する代理身体の感覚を身体的な追体験で知覚し不備の発見と修正を行う新しい遠隔操作手法を提案する.遠隔操作の新規の体系化として,代理身体の自律性と時間シフトの遠隔体験を統合し,4タスクの並行実行を実現する設計は,遠隔の実空間タスクを実用化する挑戦的探索である.

Outline of Final Research Achievements

In this study, we experimentally investigated cognition in multi-task scenarios involving the remote operation of robots. We developed an avatar robot configuration that enables simultaneous remote control, in which robot viewpoint video, audio, and sensor information are shared via a cloud server, and multiple mechanisms are constructed to provide bodily feedback. Using these mechanisms, we examined the characteristics of cognition and operation for multiple robots. To facilitate simultaneous cognition of each robot, we investigated splitting and overlaying viewpoint presentations. Our findings suggest that while splitting the space and presenting viewpoints in specific directions preserves continuity, there are concerns regarding the acquisition of a sense of presence. On the other hand, while overlaying viewpoints enables effective localization to the robot's viewpoint, there are quality concerns. These results provide a foundation for designing task-appropriate systems.

Academic Significance and Societal Importance of the Research Achievements

遠隔通信の超高速化と超高齢社会を目前にして,遠隔操作で複数の労働を実現しうる代理身体アバターは重要性がますます高まっている.しかしながら複数のアバターロボットの操作によるマルチタスクの実行は,まだ十分な議論が行われていない.本研究は複数のアバターロボットに主観視点で没入し,それらを操作する際の認知特性を調査したものであり,上記の問題に答えるものである.臨場感に重要な視覚提示の構成法について比較を行い,その特性について基礎的な知見を得ており,タスクに依存した利用法について今後検討を進めることを可能としている.実空間の複数ロボットの同時遠隔操作の研究例はほとんどないため意義のある成果である.

Report

(4 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (25 results)

All 2023 2022 2021

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (20 results) (of which Int'l Joint Research: 9 results,  Invited: 1 results) Book (3 results)

  • [Journal Article] Vehicle-ride sensation sharing system with stereoscopic 3D visual perception and vibro-vestibular feedback for immersive remote collaboration2022

    • Author(s)
      Yem Vibol、Nashiki Reon、Morita Tsubasa、Ikei Yasushi
    • Journal Title

      Advanced Robotics

      Volume: 36 Issue: 20 Pages: 1087-1099

    • DOI

      10.1080/01691864.2022.2129033

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] 歩行VRにおける旋回歩行表現のためのヨー回転前庭刺激の効果に関する研究2021

    • Author(s)
      海野 みのり, ヤェム ヴィボル, 雨宮 智浩, 北崎 充晃, 池井 寧
    • Journal Title

      日本バーチャルリアリティ学会論文誌

      Volume: 27 Pages: 29-32

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 複数空間融合手法とアバタ入力インタフェースの違いによるVR空間での二重身体認知評価の提案2023

    • Author(s)
      芹澤尚舜,ヤェムヴィボル,池井 寧,西内信之
    • Organizer
      日本人間工学会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 複数リアル空間を体験するXRメタバース2023

    • Author(s)
      小島 優希也、島田 匠悟、米田 悠人、芹澤 尚舜、西内 信之、池井 寧、YEM VIBOL
    • Organizer
      日本バーチャルリアリティ学会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 複数のテレプレゼンスロボットを用いた2重身体感覚に関する研究2023

    • Author(s)
      小島 優希也,島田 匠悟,YEM VIBOL,岡本 正吾,池井 寧
    • Organizer
      日本バーチャルリアリティ学会
    • Related Report
      2023 Annual Research Report
  • [Presentation] テレプレゼンスのためのLeaning型ロコモーションと歩行感覚提示の検討2023

    • Author(s)
      島田 匠悟、小島 優希也、西内 信之、池井 寧、YEM VIBOL
    • Organizer
      日本バーチャルリアリティ学会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 遠隔ロボットの多重身体性に関する研究2023

    • Author(s)
      小島優希也,島田匠悟,岡本正吾,ヤェム ヴィボル,池井 寧
    • Organizer
      映像情報メディア学会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Mobile Cross Reality (XR) space for remote collaboration2022

    • Author(s)
      Kikuchi, Y., Kato, R., Yem, V., Nagai, Y., Ikei, Y.
    • Organizer
      Human Interface and the Management of Information: Applications in Complex Technological Environments
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] The Effect of Posture on Virtual Walking Experience Using Foot Vibrations2022

    • Author(s)
      Junya Nakamura, Yasushi Ikei, Michiteru Kitazaki
    • Organizer
      Augmented Humans
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Generation of Walking Sensation by Providing Upper Limb Motion2022

    • Author(s)
      Sueta, G., Kato, R., Kikuchi, Y., Yem, V., Ikei, Y.
    • Organizer
      Human Factors in Virtual Environments and Game Design, AHFE
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Dual Robot Avatar: Real-time Multispace Experience using Telepresence Robots and Walk Sensation Feedback including Viewpoint Sharing for Immersive Virtual Tours2022

    • Author(s)
      Yusuke Kikuchi, Yukiya Ojima, Ryoto Kato, Minori Unno, Vibol Yem, Yukie Nagai, and Yasushi Ikei
    • Organizer
      ACM SIGGRAPH 2022 Emerging Technologies (SIGGRAPH '22)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 遠隔参加のための臨場感情報提示技術の開発2022

    • Author(s)
      池井 寧
    • Organizer
      総務省戦略的情報通信研究開発
    • Related Report
      2022 Research-status Report
    • Invited
  • [Presentation] テレプレゼンスロボットと歩行感覚フィードバックを用いたリアルタイムマルチ空間の体験2022

    • Author(s)
      小島優希也,菊地勇輔,ヤェム ヴィボル,池井 寧
    • Organizer
      日本バーチャルリアリティ学会大会,2022
    • Related Report
      2022 Research-status Report
  • [Presentation] 隔ライブ・記録映像の全方位マルチ視聴XR メタバースシステムに関する研究2022

    • Author(s)
      菊地勇輔,小島優希也,ヤェム ヴィボル,長井超慧 ,池井 寧
    • Organizer
      日本バーチャルリアリティ学会大会,2022
    • Related Report
      2022 Research-status Report
  • [Presentation] Vibro-Vestibular Wheelchair for Vehicle Riding Experiences in Immersive Virtual Reality2022

    • Author(s)
      V. Yem, T. Morita, Y. Ikei
    • Organizer
      The 14th International Conference on Software, Knowledge, Information Management and Applications
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] he Effect of Posture on Virtual Walking Experience Using Foot Vibrations2022

    • Author(s)
      Junya Nakamura, Yasushi Ikei, Michiteru Kitazaki
    • Organizer
      Augmented Humans 2023
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Feedback of Rotational Sensation Experienced by Body During Immersive Telepresence2021

    • Author(s)
      Yem Vibol, Tsubasa Morita, Tomohiro Amemiya, Michiteru Kitazaki, Yasushi Ikei
    • Organizer
      Siggraph 2021
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Action Reproducer: Virtual Reality Rehabilitation System to Reduce Fear of Walking2021

    • Author(s)
      Minori Unno, Yusuke Kikuchi, Kentaro Yamaoka, Gaku Sueta, Vibol Yem, Yasushi Ikei
    • Organizer
      Siggraph 202 Labs - Installation program
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] XRによる対話支援テレエクスペリエンスシステムに関する研究2021

    • Author(s)
      菊地勇輔,加藤 綾斗,YEM VIBOL,長井 超慧,池井 寧
    • Organizer
      日本バーチャルリアリティ学会大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 遠隔臨場感体験における身体運動感覚の合成に関する研究2021

    • Author(s)
      八木龍之介,ヤェム ヴィボル,池井 寧
    • Organizer
      日本バーチャルリアリティ学会VRと超臨場研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] Rアバターの表情生成手法に関する研究2021

    • Author(s)
      加藤綾斗,菊地 勇輔,YEM VIBOL,池井 寧
    • Organizer
      日本バーチャルリアリティ学会大会
    • Related Report
      2021 Research-status Report
  • [Presentation] Real-time Facial Animation of a Reality Avatar based on Japanese Vowels in a Speech Audio Stream2021

    • Author(s)
      Ryoto KATO, Yusuke KIKUCHI, Vibol YEM, Yasushi IKEI,
    • Organizer
      IDW2021
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Book] 日経BPテクノロジー・ロードマップ ■五感インタラクション(体験合成)2023

    • Author(s)
      池井 寧,他95名
    • Total Pages
      602
    • Publisher
      日経BP 総合研究所
    • ISBN
      9784296203031
    • Related Report
      2023 Annual Research Report
  • [Book] テクノロジー・ロードマップ 2023-20322022

    • Author(s)
      池井 寧,出川 通ほか
    • Total Pages
      608
    • Publisher
      日経BP
    • Related Report
      2022 Research-status Report
  • [Book] Human Interface and the Management of Information. Information-Rich and Intelligent Environments.2021

    • Author(s)
      Unno M., Yamaoka K., Yem V., Amemiya T., Kitazaki M., Ikei Y.
    • Total Pages
      370
    • Publisher
      Springer
    • ISBN
      9783030783600
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-07-13   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi