• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a surgical training system using XR and Metaverse to enhance medical, nursing, and engineering collaboration in robotic surgery

Research Project

Project/Area Number 22K21094
Research Category

Grant-in-Aid for Research Activity Start-up

Allocation TypeMulti-year Fund
Review Section 0908:Society medicine, nursing, and related fields
Research InstitutionTeikyo University

Principal Investigator

末吉 巧弥  帝京大学, 付置研究所, 助教 (00957847)

Project Period (FY) 2022-08-31 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywordsメタバース / ロボット手術 / XR / 空間的追体験
Outline of Research at the Start

ロボット手術運用の効率化における、外科医、看護師、臨床工学技士など医療スタッフの暗黙知を形式知化し、安全で正確、効率的なロボット習熟システムを確立させる。
そのために、XR・メタバース技術を活用し、実臨床の患者の3D医用画像情報と外科医の手術手技と看護師・臨床工学技士の機器操作を3Dスキャンし、3Dデータとアバター(分身)にてメタバース空間で再現する。遠隔から複数人同時に学習、追体験、評価ができるメタバース(超次元空間)システムを開発する。
以上により、ロボット手術の手技習熟、機器設営、チーム連携を効率化し、安全で正確なロボット手術運用の普及を目指す。

Outline of Annual Research Achievements

本研究は、安全で正確なロボット手術の普及を目的として、手術環境の効率化、快適性向上を目指し、XR技術とメタバース空間を利用して手技の空間動作を追体験できるマルチモーダル画像支援3D内視鏡手術トレーニングシステムを開発した。これは、過去の立体手術映像と患者のCT画像から抽出した3Dポリゴンデータを重ねて手術手技・手順を確認できる教育コンテンツであり、患者の臓器解剖を理解しながら、鉗子の動きを追体験することができる。これにより、医療従事者の空間認識の向上と、他のロボット手術や内視鏡手術における誤認識の回避に貢献する可能性が示唆された。この成果を、4つの海外学会(iSMIT, UEGW, ELSA, EAES), 3つの国内学会(ITヘルスケア学会、日本コンピュータ外科学会、日本内視鏡外科学会)および6つの論文を学術誌にて発表した。そのうち、UEGW(欧州消化器病週間国際会議)にて学会賞(Travel grant award)を受賞した。
しかし、遠隔からの複数人同時学習機能の実装および検証には予想以上の時間がかかり、手術環境の効率化や快適性向上を証明できる成果が得られず、本来2年間で終了予定の本研究は、次年度への延長が決まった。安全で正確なロボット手術の普及に向け、最新のソフトウェア・ハードウェアのアップデート情報や最新デバイスのUI・UXを本研究に導入し、複数人での接続検証に向け有効性を評価し、その成果を論文や学会発表で報告する予定である。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

遠隔からの複数人同時学習機能の実装および検証に、技術上の問題点により予想以上の時間がかかり、完全な実装には至らなかった。また、検証を予定していた病院からの協力が困難となり、人員確保ができず、複数人数での検証ができなかった。この研究計画の遅延に対し、次年度も計画を継続していく。

Strategy for Future Research Activity

難航した遠隔からの複数人同時学習機能の実装および検証は、最新のソフトウェア・ハードウェアのアップデート情報や最新デバイスのUI・UXを本研究に導入し、本システムの性能向上を図る予定である。また、研究協力を得られる施設を探し、本研究の有効性を評価し、研究全体を推進する予定である。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (29 results)

All 2024 2023 2022

All Journal Article (18 results) (of which Peer Reviewed: 7 results,  Open Access: 3 results) Presentation (11 results) (of which Int'l Joint Research: 5 results,  Invited: 2 results)

  • [Journal Article] Apple Vision Proによる空間コンピューティングの医用画像活用2024

    • Author(s)
      末吉巧弥, 杉本真樹
    • Journal Title

      Innervision

      Volume: 39 Pages: 60-62

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] ホログラム手術支援による大腸外科イメージング・ナビゲーション―仮想現実(VR), 拡張現実(AR), 複合現実(MR), extended reality (XR), metaverse2024

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      外科

      Volume: 37-45 Pages: 37-45

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] VR(仮想現実)とメタバースの医療応用について教えてください2024

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      腎臓

      Volume: 46 Pages: 40-42

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Feasibility of A Multimodal Image-Assisted 3D Endoscopic Surgical Training System Using VR-HMD for Robotic-Assisted Endoscopic Radical Prostatectomy2023

    • Author(s)
      Sueyoshi T, Sugimoto M
    • Journal Title

      Jurnal of Surgery

      Volume: 8 Issue: 9 Pages: 1799-1799

    • DOI

      10.29011/2575-9760.001799

    • Related Report
      2023 Research-status Report 2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 脳神経外科領域のメタバースとExtended Realityの臨床活用-空間画像解析・遠隔手術支援・追体験型修練2023

    • Author(s)
      末吉巧弥, 杉本真樹
    • Journal Title

      BRAIN and NERVE

      Volume: 75 Pages: 1129-1134

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Development of Holoeyes Holographic Image-Guided Surgery and Telemedicine System: Clinical Benefits of Extended Reality (Virtual Reality, Augmented Reality, Mixed Reality), The Metaverse, and Artificial Intelligence in Surgery with a Systematic Review2023

    • Author(s)
      Sugimoto M, Sueyoshi T
    • Journal Title

      Medical Research Archives

      Volume: 11 Issue: 7.1 Pages: 0-0

    • DOI

      10.18103/mra.v11i7.1.4045

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Optimizing Orthognathic and Maxillofacial Surgery Outcomes: Integration of Surgery First Approach (SFA), Early Recovery after Surgery (ERAS), CAD/ CAM and Extended Reality (XR) in the Metaverse to Minimize Overnight Hospitalization2023

    • Author(s)
      Tomita D, Sugimoto M, Sueyoshi T, et al.
    • Journal Title

      Journal of Surgery

      Volume: 8 Issue: 12 Pages: 0-0

    • DOI

      10.29011/2575-9760.001835

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 医用画像(CT/MRI)によるXR(VR/AR/MR)自動アプリ化クラウドサービスとウエアラブルXRデバイスの臨床活用2023

    • Author(s)
      末吉巧弥, 杉本真樹
    • Journal Title

      Innervision

      Volume: 38 Pages: 70-74

    • Related Report
      2022 Research-status Report
  • [Journal Article] メタバースとXR(VR/AR/MR)技術による遠隔医療・手術支援・体験型教育2023

    • Author(s)
      末吉巧弥, 杉本真樹
    • Journal Title

      研究開発リーダー

      Volume: 19 Pages: 17-21

    • Related Report
      2022 Research-status Report
  • [Journal Article] Extended reality(VR/AR/MR)とMetaverseによる空間的遠隔画像診断・ 空間的画像手術支援2022

    • Author(s)
      末吉巧弥, 杉本真樹
    • Journal Title

      RadFan

      Volume: 20 Pages: 58-60

    • Related Report
      2022 Research-status Report
  • [Journal Article] MetaverseとXR(Extended reality)による空間動作追従型遠隔手術支援・ 手技追体験トレーニング・シミュレーション・ナビゲーション2022

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      JSCAS

      Volume: 24 Pages: 89-89

    • Related Report
      2022 Research-status Report
  • [Journal Article] MetaverseによるInterventional radiology2022

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      日本インターベンショナルラジオロジー学会雑誌

      Volume: 36 Pages: 326-334

    • Related Report
      2022 Research-status Report
  • [Journal Article] XR (VR, AR, MR), Hologram, Metaverse, Telesurgery, Telemedicine2022

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      J JSCAS

      Volume: 24 Pages: 173-176

    • Related Report
      2022 Research-status Report
  • [Journal Article] Metaverse と XR(Extended reality)による空間動作追従型遠隔手術支援・ 手技追体験トレーニング・シミュレーション・ナビゲーション2022

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      J JSCAS

      Volume: 24 Pages: 89-90

    • Related Report
      2022 Research-status Report
  • [Journal Article] メタバースと仮想現実・拡張現実がもたらす“医療3.0”2022

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      医学のあゆみ

      Volume: 283 Pages: 1400-1404

    • Related Report
      2022 Research-status Report
  • [Journal Article] 胆膵手術を支援するXR (Extended Reality)・Metaverse・空気圧駆動力覚提示遠隔手術ロボット・3D内視鏡XR-HMD システム2022

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      胆と膵

      Volume: 43 Pages: 1657-1662

    • Related Report
      2022 Research-status Report
  • [Journal Article] Extended reality(XR):仮想現実(vrtual reality: VR),拡張現実(augmented reality: AR), 複合現実(mixed reality: MR),メタバース(metaverse)と医療・教育・研究開発2022

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      小児外科

      Volume: 54 Pages: 956-961

    • Related Report
      2022 Research-status Report
  • [Journal Article] 消化器外科における空間的画像手術支援とナビゲーション:Extended reality(XR:VR,AR,MR), ホログラム,メタバース2022

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      消化器外科

      Volume: 45 Pages: 1027-1035

    • Related Report
      2022 Research-status Report
  • [Presentation] 3D内視鏡の立体視録画とVR-HMDによるロボット手術空間的教育の開発2023

    • Author(s)
      末吉巧弥, 杉本真樹
    • Organizer
      第36回日本内視鏡外科学会総会
    • Related Report
      2023 Research-status Report
  • [Presentation] 3D内視鏡手術修練におけるVR-HMDと裸眼3Dディスプレイの立体視効果の検証2023

    • Author(s)
      末吉巧弥, 杉本真樹
    • Organizer
      第32回日本コンピューター外科学会
    • Related Report
      2023 Research-status Report
  • [Presentation] XRメタバースによる遠隔医療・教育の最前線2023

    • Author(s)
      末吉巧弥, 杉本真樹
    • Organizer
      ITヘルスケア学会 第16回学術大会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] Enhancing 3-D endoscopic surgery training with extended reality and head-mounted display technology2023

    • Author(s)
      Sueyoshi T, Sugimoto M
    • Organizer
      The 31th international Congress of the European Association for Endoscopic Surgery in Rome
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Augmented reality of 3D endoscopic images and 3D-CT images on a glasses-free 3D display improved spatial recognition in urologic robotic surgery2023

    • Author(s)
      Sueyoshi T, Sugimoto M
    • Organizer
      The 16th Asia-Pacific Congress of Endoscopic and Laparoscopic Surgeons of Asia
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Holography-Guided navigation in GI and HPB surgery: enhancing spatial awareness by leveraging mixed reality and the metaverse. AI for GI: Glimpse in the future2023

    • Author(s)
      Sueyoshi T, Sugimoto M
    • Organizer
      The 31st United European Gastroenterology Week
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Evaluation of IVR Training Accuracy Using Mixed Reality2023

    • Author(s)
      Sueyoshi T, Sugimoto M
    • Organizer
      34th Annual International Society for Medical Innovation and Technology Conference
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Wearable XR spatial training system using simultaneous stereoscopic view of endoscopy and CT to enhance spatial spatial awareness in endoscopic robotic surgery2022

    • Author(s)
      Takuya Sueyoshi, Maki Sugimoto
    • Organizer
      18th World Endoscopic Surgery Conference (WCES 2022)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 看護師と医師が体験共有するロボット前立腺手術 VR 遠隔教育システムの開発2022

    • Author(s)
      末吉巧弥, 杉本真樹
    • Organizer
      第 35 回日本内視鏡外科学会総会
    • Related Report
      2022 Research-status Report
  • [Presentation] 低侵襲手術の空間認識を強化するXR-HMD立体内視鏡手術システムの開発2022

    • Author(s)
      末吉巧弥, 杉本真樹
    • Organizer
      Frontiers of CAS Symposium 2022(FCS2022)画像1日本コンピューター外科学会
    • Related Report
      2022 Research-status Report
  • [Presentation] XR(VR/AR/MR)とMetaverseによる遠隔医療, 手術支援, 医療教育2022

    • Author(s)
      末吉巧弥, 杉本真樹
    • Organizer
      ITヘルスケア学会 第15回学術大会 シンポジウム11「XR(VR/AR/MR)とメタバースの医療ヘルスケア活用最前線」
    • Related Report
      2022 Research-status Report
    • Invited

URL: 

Published: 2022-09-01   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi