• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

An extended reality support system (including virtual reality, augmented reality, and mixed reality) in the metaverse for medical practice, education, and training in hepatobiliary pancreatic surgery

Research Project

Project/Area Number 23K02640
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 09070:Educational technology-related
Research InstitutionTeikyo University

Principal Investigator

杉本 真樹  帝京大学, 付置研究所, 教授 (70398733)

Co-Investigator(Kenkyū-buntansha) 末吉 巧弥  帝京大学, 付置研究所, 助教 (00957847)
Project Period (FY) 2023-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywords仮想現実 / 拡張現実 / メタバース / 手術修練 / 手術支援 / metaverse / virtual reality / augmented reality / holoeyes / hologram
Outline of Research at the Start

肝胆膵腹腔鏡・ロボット支援手術は, 複雑な病態解剖と緻密な手術計画が重要で, 病変進展・切除範囲を空間的に理解し, 安全確実に手術的根治しうる高度な知識と技能が要求される.
そこで肝胆膵外科医・医学生に対し, 手術工程の理解, 空間認識, 臨機対応能力を習得できる効率的な習熟/教育法を確立する. 仮想拡張現実 XR 技術を活用し, CT/MRI/超音波画像より, 病態解剖を手術中前後に空間的提示し, メタバースでのアバターによる動作を重ねて追体験できる遠隔教育を可能にする, 若手外科医/ 医学生の病態教育と, 臨床での手術前計画・予行・術中支援・修練を包括する空間的外科支援システムとする.

Outline of Annual Research Achievements

昨年度に実施した肝胆膵腹腔鏡・ロボット支援手術の研究では、複雑な病態解剖と緻密な手術計画の重要性に焦点を当て、空間的な理解を深めるための技術開発を進めた。具体的には、仮想拡張現実(XR)技術を用いてCT/MRI/超音波画像から病態解剖を3Dポリゴンで表現し、手術前後での空間的提示を実現した。この技術は、メタバース内でアバターによる動作を重ねることで、遠隔教育を可能にし、手術工程の理解、空間認識、臨機対応能力の向上を図ることを目的としている。
2023年度の研究実施計画では、3Dホログラムと従来型ディスプレイの特性を教育および臨床現場で比較検証した。この検証により、若手外科医や医学生の疾患理解度の向上が見込まれ、手術時の意思決定や技術の習熟にも寄与する可能性が示された。特に、内視鏡外科手術中の鉗子操作における3Dホログラムの効果を解析し、その利点と欠点を明らかにした。
今後の計画として、2024年度は学生及び初期臨床研修医への疾患理解度をさらに評価し、3Dホログラムと2Dディスプレイの教育効果を比較検証する。2025年度には、肝胆膵手術の難易度の高いケースにおいて3Dホログラムを使用した手術ナビゲーションの臨床試験を行い、その効果を後方視的に評価する。これらの研究を通じて、最適な空間的外科支援システムの確立を目指し、若手外科医の教育と臨床での手術支援の向上に貢献することを期待している。今年度はさらに国内外での学会発表と学術論文の公開など対外的にも発信してゆく予定とする。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2023年度の研究実施計画につき、3Dホログラムと従来型ディスプレイの特性を教育および臨床現場で比較検証し、若手外科医や医学生の疾患理解度の向上が見込まれ、手術時の意思決定や技術の習熟にも寄与する可能性が示された。特に、内視鏡外科手術中の鉗子操作における3Dホログラムの効果を解析し、その利点と欠点を明らかにした。これらを学会、論文等で複数報告しており、おおむね順調に進展している。

Strategy for Future Research Activity

今後の計画として、2024年度は学生及び初期臨床研修医への疾患理解度をさらに評価し、3Dホログラムと2Dディスプレイの教育効果を比較検証する。2025年度には、肝胆膵手術の難易度の高いケースにおいて3Dホログラムを使用した手術ナビゲーションの臨床試験を行い、その効果を後方視的に評価する。これらの研究を通じて、最適な空間的外科支援システムの確立を目指し、若手外科医の教育と臨床での手術支援の向上に寄与することを目指する。
今年度はさらに国内外での学会発表と学術論文の公開など対外的にも発信してゆく予定とする。

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (24 results)

All 2024 2023 Other

All Journal Article (16 results) (of which Peer Reviewed: 7 results,  Open Access: 6 results) Presentation (5 results) (of which Int'l Joint Research: 4 results,  Invited: 3 results) Book (1 results) Remarks (2 results)

  • [Journal Article] XR(VR/AR/MR)技術と仮想力覚再現による胸腹腔鏡ロボット手術支援2024

    • Author(s)
      杉本真樹, 末吉巧弥,三澤健之, 志賀淑之, 脊山泰治.
    • Journal Title

      日本臨床

      Volume: 82増 Pages: 466-474

    • Related Report
      2023 Research-status Report
  • [Journal Article] ホログラム手術支援による大腸外科イメージング・ナビゲーション―仮想現実(VR),拡張現実(AR),複合現実(MR),extended reality (XR),metaverse2024

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      外科

      Volume: 86 Pages: 37-47

    • Related Report
      2023 Research-status Report
  • [Journal Article] 放射線医学における3DプリンティングのRSNA2023最新動向2024

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      INNERVISION

      Volume: 39 Pages: 51-54

    • Related Report
      2023 Research-status Report
  • [Journal Article] メタバースと仮想現実VR/拡張現実AR/複合現実MRによる腎臓医療と手術支援2024

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      腎臓

      Volume: 46

    • Related Report
      2023 Research-status Report
  • [Journal Article] Development of Holoeyes Holographic Image-Guided Surgery and Telemedicine System: Clinical Benefits of Extended Reality (Virtual Reality, Augmented Reality, Mixed Reality), The Metaverse, and Artificial Intelligence in Surgery with a Systematic Review2023

    • Author(s)
      Sugimoto M, Sueyoshi T
    • Journal Title

      Medical Research Archives

      Volume: 11 Issue: 7.1 Pages: 0-0

    • DOI

      10.18103/mra.v11i7.1.4045

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Enhanced Precision in Genioplasty: class FormattedString { value: A Novel Intraoperative Spatial Repositioning Using Computer-Aided Design and Manufacturing Technology and a Holographic Mixed Reality Application }2023

    • Author(s)
      Koyachi Masahide、Sugahara Keisuke、Tachizawa Kotaro、Nishiyama Akihiro、Odaka Kento、Matsunaga Satoru、Sugimoto Maki、Tachiki Chie、Nishii Yasushi、Katakura Akira
    • Journal Title

      Journal of Clinical Medicine

      Volume: 12 Issue: 23 Pages: 7408-7408

    • DOI

      10.3390/jcm12237408

    • URL

      https://localhost/en/publications/92381704-37de-4147-889f-18baba86bf13

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Transanal lateral lymph node dissection with intraoperative hologram support in low rectal cancer2023

    • Author(s)
      Tokunaga Takuya、Sugimoto Maki、Saito Yu、Kashihara Hideya、Yoshikawa Kozo、Nakao Toshihiro、Nishi Masaaki、Takasu Chie、Wada Yuma、Waki Yuhei、Yoshimoto Toshiaki、Noma Takayuki、Shimada Mitsuo
    • Journal Title

      Surgical Endoscopy

      Volume: 37 Issue: 7 Pages: 5414

    • DOI

      10.1007/s00464-023-09977-w

    • URL

      https://localhost/en/publications/ef3e6716-11b3-46c7-84fd-949ca652c096

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Optimizing Orthognathic and Maxillofacial Surgery Outcomes: Integration of Surgery First Approach (SFA), Early Recovery after Surgery (ERAS), CAD/ CAM and Extended Reality (XR) in the Metaverse to Minimize Overnight Hospitalization2023

    • Author(s)
      Tomita D, Sugimoto M, Sueyoshi T, et al.
    • Journal Title

      Journal of Surgery

      Volume: 8 Issue: 12 Pages: 0-0

    • DOI

      10.29011/2575-9760.001835

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Feasibility of A Multimodal Image-Assisted 3D Endoscopic Surgical Training System Using VR-HMD for Robotic-Assisted Endoscopic Radical Prostatectomy2023

    • Author(s)
      Sueyoshi T, Sugimoto M
    • Journal Title

      Jurnal of Surgery

      Volume: 8 Issue: 9 Pages: 1799-1799

    • DOI

      10.29011/2575-9760.001799

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Mixed-reality and computer-aided design/computer-aided manufacturing technology for mandibular reconstruction: a case description2023

    • Author(s)
      Koyachi Masahide、Sugahara Keisuke、Tachizawa Kotaro、Nishiyama Akihiro、Odaka Kento、Matsunaga Satoru、Sugimoto Maki、Katakura Akira
    • Journal Title

      Quantitative Imaging in Medicine and Surgery

      Volume: 13 Issue: 6 Pages: 4050

    • DOI

      10.21037/qims-22-1118

    • URL

      https://pure.teikyo.jp/en/publications/4df450e1-8bb6-4509-9cf4-35acbad43154

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] ホログラム医用画像支援手術と空間的時系列動作解析を統合したXR手術技能伝承支援メタバースシステムの開発と社会実装2023

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      J JSCAS

      Volume: 25 Pages: 200-201

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] ミイラのCT・MRI画像の3D解 析による立体空間的死後画像 診断: virtual realityと augmented realityによる 3D virtual autopsy imaging2023

    • Author(s)
      32.杉本真樹, 末吉巧弥
    • Journal Title

      Rad Fan

      Volume: 21 Pages: 19-23

    • Related Report
      2023 Research-status Report
  • [Journal Article] CT/MRI/US 画像の XR(VR・AR・MR)・ メタバース活用の実際: Holoeyes MD, OsiriX MD, 3D Slicer, Meta Quest, HoloLens, Magic Leap.2023

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      INNERVISION

      Volume: 38 Pages: 70-74

    • Related Report
      2023 Research-status Report
  • [Journal Article] VR/AR/MR/XR/Metaverseの最新動向 - Mixed reality & Metaverse in recent radiology2023

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      INNERVISION

      Volume: 38 Pages: 39-42

    • Related Report
      2023 Research-status Report
  • [Journal Article] Identified for RadioGraphics INEE-24 Educational Applications of Metaverse and XR Extended Reality(VR, AR, MR) for Radiology and Telemedicine〔メタバースとXR(VR/AR/MR)による放射線学と遠隔医療での教育活用〕2023

    • Author(s)
      杉本真樹
    • Journal Title

      INNERVISION

      Volume: 38

    • Related Report
      2023 Research-status Report
  • [Journal Article] . XR(extended reality)とメタバースによる医療デジタルトランスフォーメーション2023

    • Author(s)
      杉本真樹, 末吉巧弥
    • Journal Title

      INNERVISION

      Volume: 38 Pages: 90-91

    • Related Report
      2023 Research-status Report
  • [Presentation] Transform medical education through Metaverse2024

    • Author(s)
      Maki Sugimoto
    • Organizer
      タイ医学教育学会The23rd Thai Medical Education Conference (TMEC) in 2024
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Integrating Extended Medical Image Analysis and Artificial Intelligence: The Future of Medical Engineering2024

    • Author(s)
      Maki Sugimoto
    • Organizer
      アズハル大学国際工学カンファレンスAEIC 2024 Al-Azhar Engineering 16th International Conference 2024 エジプトカイロ
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] VR/AR/MR/XR/Metaverseによるホログラム手術支援の最前線 Frontiers of Holographic Surgical Assistance with VR/AR/MR/XR/Metaverse2024

    • Author(s)
      杉本真樹
    • Organizer
      第53回日本脳卒中の外科学会学術集会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] Metaverse-integrated XR technology for conveying optimal techniques and spatial maneuvers in robotic and laparoscopic hepatobiliary pancreatic surgery2024

    • Author(s)
      Maki Sugimoto
    • Organizer
      国際肝臓外科学会International Society of Liver Surgeons Single Topic Symposium (ISLS STS 2024 Seoul) 韓国 ソウル
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Metaverse-integrated XR technology for conveying optimal techniques and spatial maneuvers in robotic and laparoscopic hepatobiliary pancreatic surgery2024

    • Author(s)
      Maki Sugimoto
    • Organizer
      韓国肝胆膵学会HPB Surgery week2024 & the 60th Annual Congress of the Korean Association of HBP Surgery.
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Book] 医用画像3D・VR・AR OsiriXパーフェクトマニュアル2023

    • Author(s)
      杉本 真樹
    • Total Pages
      288
    • Publisher
      エクスナレッジ
    • ISBN
      9784767831879
    • Related Report
      2023 Research-status Report
  • [Remarks] 帝京大学冲永総合研究所

    • URL

      https://www.teikyo-u.ac.jp/affiliate/laboratory/laboratory_o/

    • Related Report
      2023 Research-status Report
  • [Remarks] 帝京大学冲永総合研究所 Facebook

    • URL

      https://www.facebook.com/pages/101993629154986/

    • Related Report
      2023 Research-status Report

URL: 

Published: 2023-04-13   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi