• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

XRメタバースによるロボット手術の医看工連携を強化する追体験型修練システムの開発

研究課題

研究課題/領域番号 22K21094
研究種目

研究活動スタート支援

配分区分基金
審査区分 0908:社会医学、看護学およびその関連分野
研究機関帝京大学

研究代表者

末吉 巧弥  帝京大学, 付置研究所, 助教 (00957847)

研究期間 (年度) 2022-08-31 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワードメタバース / ロボット手術 / XR / 空間的追体験
研究開始時の研究の概要

ロボット手術運用の効率化における、外科医、看護師、臨床工学技士など医療スタッフの暗黙知を形式知化し、安全で正確、効率的なロボット習熟システムを確立させる。
そのために、XR・メタバース技術を活用し、実臨床の患者の3D医用画像情報と外科医の手術手技と看護師・臨床工学技士の機器操作を3Dスキャンし、3Dデータとアバター(分身)にてメタバース空間で再現する。遠隔から複数人同時に学習、追体験、評価ができるメタバース(超次元空間)システムを開発する。
以上により、ロボット手術の手技習熟、機器設営、チーム連携を効率化し、安全で正確なロボット手術運用の普及を目指す。

研究実績の概要

本研究は、安全で正確なロボット手術の普及を目的として、手術環境の効率化、快適性向上を目指し、XR技術とメタバース空間を利用して手技の空間動作を追体験できるマルチモーダル画像支援3D内視鏡手術トレーニングシステムを開発した。これは、過去の立体手術映像と患者のCT画像から抽出した3Dポリゴンデータを重ねて手術手技・手順を確認できる教育コンテンツであり、患者の臓器解剖を理解しながら、鉗子の動きを追体験することができる。これにより、医療従事者の空間認識の向上と、他のロボット手術や内視鏡手術における誤認識の回避に貢献する可能性が示唆された。この成果を、4つの海外学会(iSMIT, UEGW, ELSA, EAES), 3つの国内学会(ITヘルスケア学会、日本コンピュータ外科学会、日本内視鏡外科学会)および6つの論文を学術誌にて発表した。そのうち、UEGW(欧州消化器病週間国際会議)にて学会賞(Travel grant award)を受賞した。
しかし、遠隔からの複数人同時学習機能の実装および検証には予想以上の時間がかかり、手術環境の効率化や快適性向上を証明できる成果が得られず、本来2年間で終了予定の本研究は、次年度への延長が決まった。安全で正確なロボット手術の普及に向け、最新のソフトウェア・ハードウェアのアップデート情報や最新デバイスのUI・UXを本研究に導入し、複数人での接続検証に向け有効性を評価し、その成果を論文や学会発表で報告する予定である。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

遠隔からの複数人同時学習機能の実装および検証に、技術上の問題点により予想以上の時間がかかり、完全な実装には至らなかった。また、検証を予定していた病院からの協力が困難となり、人員確保ができず、複数人数での検証ができなかった。この研究計画の遅延に対し、次年度も計画を継続していく。

今後の研究の推進方策

難航した遠隔からの複数人同時学習機能の実装および検証は、最新のソフトウェア・ハードウェアのアップデート情報や最新デバイスのUI・UXを本研究に導入し、本システムの性能向上を図る予定である。また、研究協力を得られる施設を探し、本研究の有効性を評価し、研究全体を推進する予定である。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (29件)

すべて 2024 2023 2022

すべて 雑誌論文 (18件) (うち査読あり 7件、 オープンアクセス 3件) 学会発表 (11件) (うち国際学会 5件、 招待講演 2件)

  • [雑誌論文] Apple Vision Proによる空間コンピューティングの医用画像活用2024

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 雑誌名

      Innervision

      巻: 39 ページ: 60-62

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] ホログラム手術支援による大腸外科イメージング・ナビゲーション―仮想現実(VR), 拡張現実(AR), 複合現実(MR), extended reality (XR), metaverse2024

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      外科

      巻: 37-45 ページ: 37-45

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] VR(仮想現実)とメタバースの医療応用について教えてください2024

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      腎臓

      巻: 46 ページ: 40-42

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Feasibility of A Multimodal Image-Assisted 3D Endoscopic Surgical Training System Using VR-HMD for Robotic-Assisted Endoscopic Radical Prostatectomy2023

    • 著者名/発表者名
      Sueyoshi T, Sugimoto M
    • 雑誌名

      Jurnal of Surgery

      巻: 8 号: 9 ページ: 1799-1799

    • DOI

      10.29011/2575-9760.001799

    • 関連する報告書
      2023 実施状況報告書 2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 脳神経外科領域のメタバースとExtended Realityの臨床活用-空間画像解析・遠隔手術支援・追体験型修練2023

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 雑誌名

      BRAIN and NERVE

      巻: 75 ページ: 1129-1134

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Development of Holoeyes Holographic Image-Guided Surgery and Telemedicine System: Clinical Benefits of Extended Reality (Virtual Reality, Augmented Reality, Mixed Reality), The Metaverse, and Artificial Intelligence in Surgery with a Systematic Review2023

    • 著者名/発表者名
      Sugimoto M, Sueyoshi T
    • 雑誌名

      Medical Research Archives

      巻: 11 号: 7.1 ページ: 0-0

    • DOI

      10.18103/mra.v11i7.1.4045

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Optimizing Orthognathic and Maxillofacial Surgery Outcomes: Integration of Surgery First Approach (SFA), Early Recovery after Surgery (ERAS), CAD/ CAM and Extended Reality (XR) in the Metaverse to Minimize Overnight Hospitalization2023

    • 著者名/発表者名
      Tomita D, Sugimoto M, Sueyoshi T, et al.
    • 雑誌名

      Journal of Surgery

      巻: 8 号: 12 ページ: 0-0

    • DOI

      10.29011/2575-9760.001835

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 医用画像(CT/MRI)によるXR(VR/AR/MR)自動アプリ化クラウドサービスとウエアラブルXRデバイスの臨床活用2023

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 雑誌名

      Innervision

      巻: 38 ページ: 70-74

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] メタバースとXR(VR/AR/MR)技術による遠隔医療・手術支援・体験型教育2023

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 雑誌名

      研究開発リーダー

      巻: 19 ページ: 17-21

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] Extended reality(VR/AR/MR)とMetaverseによる空間的遠隔画像診断・ 空間的画像手術支援2022

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 雑誌名

      RadFan

      巻: 20 ページ: 58-60

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] MetaverseとXR(Extended reality)による空間動作追従型遠隔手術支援・ 手技追体験トレーニング・シミュレーション・ナビゲーション2022

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      JSCAS

      巻: 24 ページ: 89-89

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] MetaverseによるInterventional radiology2022

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      日本インターベンショナルラジオロジー学会雑誌

      巻: 36 ページ: 326-334

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] XR (VR, AR, MR), Hologram, Metaverse, Telesurgery, Telemedicine2022

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      J JSCAS

      巻: 24 ページ: 173-176

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] Metaverse と XR(Extended reality)による空間動作追従型遠隔手術支援・ 手技追体験トレーニング・シミュレーション・ナビゲーション2022

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      J JSCAS

      巻: 24 ページ: 89-90

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] メタバースと仮想現実・拡張現実がもたらす“医療3.0”2022

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      医学のあゆみ

      巻: 283 ページ: 1400-1404

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] 胆膵手術を支援するXR (Extended Reality)・Metaverse・空気圧駆動力覚提示遠隔手術ロボット・3D内視鏡XR-HMD システム2022

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      胆と膵

      巻: 43 ページ: 1657-1662

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] Extended reality(XR):仮想現実(vrtual reality: VR),拡張現実(augmented reality: AR), 複合現実(mixed reality: MR),メタバース(metaverse)と医療・教育・研究開発2022

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      小児外科

      巻: 54 ページ: 956-961

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] 消化器外科における空間的画像手術支援とナビゲーション:Extended reality(XR:VR,AR,MR), ホログラム,メタバース2022

    • 著者名/発表者名
      杉本真樹, 末吉巧弥
    • 雑誌名

      消化器外科

      巻: 45 ページ: 1027-1035

    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 3D内視鏡の立体視録画とVR-HMDによるロボット手術空間的教育の開発2023

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 学会等名
      第36回日本内視鏡外科学会総会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 3D内視鏡手術修練におけるVR-HMDと裸眼3Dディスプレイの立体視効果の検証2023

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 学会等名
      第32回日本コンピューター外科学会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] XRメタバースによる遠隔医療・教育の最前線2023

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 学会等名
      ITヘルスケア学会 第16回学術大会
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] Enhancing 3-D endoscopic surgery training with extended reality and head-mounted display technology2023

    • 著者名/発表者名
      Sueyoshi T, Sugimoto M
    • 学会等名
      The 31th international Congress of the European Association for Endoscopic Surgery in Rome
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Augmented reality of 3D endoscopic images and 3D-CT images on a glasses-free 3D display improved spatial recognition in urologic robotic surgery2023

    • 著者名/発表者名
      Sueyoshi T, Sugimoto M
    • 学会等名
      The 16th Asia-Pacific Congress of Endoscopic and Laparoscopic Surgeons of Asia
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Holography-Guided navigation in GI and HPB surgery: enhancing spatial awareness by leveraging mixed reality and the metaverse. AI for GI: Glimpse in the future2023

    • 著者名/発表者名
      Sueyoshi T, Sugimoto M
    • 学会等名
      The 31st United European Gastroenterology Week
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Evaluation of IVR Training Accuracy Using Mixed Reality2023

    • 著者名/発表者名
      Sueyoshi T, Sugimoto M
    • 学会等名
      34th Annual International Society for Medical Innovation and Technology Conference
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Wearable XR spatial training system using simultaneous stereoscopic view of endoscopy and CT to enhance spatial spatial awareness in endoscopic robotic surgery2022

    • 著者名/発表者名
      Takuya Sueyoshi, Maki Sugimoto
    • 学会等名
      18th World Endoscopic Surgery Conference (WCES 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 看護師と医師が体験共有するロボット前立腺手術 VR 遠隔教育システムの開発2022

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 学会等名
      第 35 回日本内視鏡外科学会総会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 低侵襲手術の空間認識を強化するXR-HMD立体内視鏡手術システムの開発2022

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 学会等名
      Frontiers of CAS Symposium 2022(FCS2022)画像1日本コンピューター外科学会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] XR(VR/AR/MR)とMetaverseによる遠隔医療, 手術支援, 医療教育2022

    • 著者名/発表者名
      末吉巧弥, 杉本真樹
    • 学会等名
      ITヘルスケア学会 第15回学術大会 シンポジウム11「XR(VR/AR/MR)とメタバースの医療ヘルスケア活用最前線」
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演

URL: 

公開日: 2022-09-01   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi