Development of Robotic-VR for Shared Body

• Project/Area Number: 22KK0158
• Research Category: Fund for the Promotion of Joint International Research (Fostering Joint International Research (B))
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Toyohashi University of Technology
• Principal Investigator: 北崎 充晃 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (90292739)
• Co-Investigator(Kenkyū-buntansha): 井上 康之 富山県立大学, 工学部, 講師 (00644436) ; 森田 磨里絵 立命館大学, BKC社系研究機構, 研究員 (70907211)
• Project Period (FY): 2022-10-07 – 2027-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥19,890,000 (Direct Cost: ¥15,300,000、Indirect Cost: ¥4,590,000); Fiscal Year 2026: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2025: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2024: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
• Keywords: 共有身体 / バーチャルリアリティ / ロボット / 身体所有感 / 身体拡張 / 人間拡張 / ロボティクス / 身体性認知

Outline of Research at the Start

新型コロナ感染症蔓延下でバーチャルリアリティ(VR)の活用が進んだ一方で、実空間での作業や交流の必要性・重要性が再認識された。本研究は、フランスCNRS-LIRMMのGowrishankar Ganesh氏と共同で開発したVR空間での共有身体アバターを、VRを介してロボットとして実空間に実現し、その特性解明と最適化、利用価値の追求を行う。共有身体は、2人が1つのアバター・ロボットの身体を同時に操作するものであり、1つの意識に1つの身体という人概念を打破すると同時に、一人の場合よりも作業精度や効率を向上させる。研究代表者を中心に複数人がフランスCNRS-LIRMMに出向き、開発と実験を行う。

Outline of Annual Research Achievements

本研究では、1つの意識が1つの身体を持つという既成概念を打破し、異なる意識を持つ複数の人が1つの身体を持つ共有身体アバターを現実空間にロボットとして実装し、どの程度まで実用可能なのか、それにどういう利点があるのかを人を対象とした実験で検証する。そのため、研究代表者の北崎を含めて複数人が毎年フランスCNRS-LIRMMのGanesh研究室に出向き、開発と実験を行う。
2023年度は12月中旬に研究代表者の北崎がフランス・モンペリエのGanesh研究室に1週間滞在し、ロボットシステム開発の打合せ、後述する視野拡張システムの実験データについての議論とそれに基づく身体運動モデルの構築を行った。そして、構築したモデルを検証するための実験システムについて議論し、帰国後にその実装を行った。
2023年11月末にGanesh博士が豊橋技術科学大学を訪問し、研究分担者の井上（富山県立大学）と森田（立教大学）とともに研究の進捗状況の確認と、今後のフランス訪問について議論を行った。
共有身体ロボットの頭部の候補として開発している視野拡張システムは、頭部回転に対してバーチャルな視線方向の回転のゲインを操作して、左右への少しの頭部運動で真後ろまでの観察を可能とするものである。このとき、頭部回転のコストが下がることに着目し、眼球運動のコストおよび胴体運動のコストとの相対的関係から人の行動が決定されるモデルを構築し、それを検証するための実験システムを構築し、実験を開始した。また、実際の社会実装する際にどのような対象に有益かを議論し、車の運転、クレーンの操作、安全監視などについて検討を開始した。
共有身体の認知・行動特性について、手を対象として、手と指の動きを平均するシステムの開発と評価、教師の手の動きと共有し手話を学習するシステムの開発と評価を行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

共有身体アバターをロボットに実現するために環境構築とアルゴリズム開発を順調に行っている。特に頭部ロボットについて、開発と一部の評価を行った。CNRS-LIRMMへの研究代表者の1週間の訪問と逆に先方の研究者の本学への訪問が実現し、実験データの解釈と国際会議への投稿が完了した。

Strategy for Future Research Activity

人と人の腕の動きを平均あるいは結合して1つのロボットに融合する共有身体ロボットを実装し、その有効性を検証する実験を検討する。その後、人と人工知能（自律ロボット）との共有身体の実現方法を検討する。特に、人工知能との共有において、どのような要因が自然な融合とコミュニケーションを可能とするかに着目する。

Research Products

• [Int'l Joint Research] CNRS(フランス)
• [Int'l Joint Research] CNRS-LIRMM(フランス)
• [Journal Article] Embodiment and task performance in finger reaching of shared and joint hands (2024)
  • Author(s): 勝俣 安伸、鳥海 智志、井上 康之、Harin Hapuarachchi、北崎 充晃
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 29 Issue: 1 Pages: 27-37
  • DOI: 10.18974/tvrsj.29.1_27
  • ISSN: 1344-011X, 2423-9593
  • Year and Date: 2024-03-31
  • Peer Reviewed / Open Access
• [Journal Article] Effects of Transformation Patterns in Virtual Embodiment on Sense of Body Transformation, Sense of Body Ownership, and Sense of Agency (2024)
  • Author(s): 村上 太一、北崎 充晃
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 29 Issue: 1 Pages: 39-47
  • DOI: 10.18974/tvrsj.29.1_39
  • ISSN: 1344-011X, 2423-9593
  • Year and Date: 2024-03-31
  • Peer Reviewed / Open Access
• [Journal Article] Investigating the perceptual attribution of a virtual robotic limb synchronizing with hand and foot simultaneously (2023)
  • Author(s): Sakurada Kuniharu、Kondo Ryota、Nakamura Fumihiko、Kitazaki Michiteru、Sugimoto Maki
  • Journal Title: Frontiers in Virtual Reality Volume: 4 Pages: 1-17
  • DOI: 10.3389/frvir.2023.1210303
  • Peer Reviewed / Open Access
• [Journal Article] Shared Avatar for Hand Movement Imitation: Subjective and Behavioral Analyses (2023)
  • Author(s): Katsumata Yasunobu、Inoue Yasuyuki、Toriumi Satoshi、Ishimoto Hiroki、Hapuarachchi Harin、Kitazaki Michiteru
  • Journal Title: IEEE Access Volume: 11 Pages: 96710-96717
  • DOI: 10.1109/access.2023.3312179
  • Peer Reviewed / Open Access
• [Presentation] Owl-Vision: Augmentation of Visual Field by Virtual Amplification of Head Rotation (2024)
  • Author(s): Kitazaki, M., Onodera, R., Kataoka, J., Inoue, Y., Iwasaki, Y., Ganesh, G.
  • Organizer: Augmented Humans 2024
  • Int'l Joint Research
• [Presentation] Exploring Embodiment and Usability of Autonomous Prosthetic Limbs through Virtual Reality (2023)
  • Author(s): Hapuarachchi, H., Inoue, Y., and Kitazaki, M
  • Organizer: SIGGRAPH Asia 2023
  • Int'l Joint Research
• [Presentation] 自律動作する義手の運動時間が身体性に及ぼす効果 (2023)
  • Author(s): HAPUARACHCHI HARIN, 井上康之、北崎充晃
  • Organizer: 日本バーチャルリアリティ学会第28回大会
• [Presentation] バーチャル共有身体での姿勢照合課題における心拍同期の研究 (2023)
  • Author(s): Cedillo Rorek、Hapuarachchi Harin、北崎充晃
  • Organizer: 日本バーチャルリアリティ学会第28回大会
• [Presentation] Cast Shadow and Color Change Improve Social Impression of Robotic Massage with Virtual Out-of-Body Experience (2023)
  • Author(s): Haraguchi, G. and Kitazaki, M.
  • Organizer: Augmented Humans 2023
  • Int'l Joint Research
• [Presentation] テクノロジーと心理学、特別委員会企画「心理・倫理・技術のこれから」 (2022)
  • Author(s): 北崎充晃
  • Organizer: 日本基礎心理学会第41回大会