• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

DX of surgical education using multimodal VR technology

Research Project

Project/Area Number 23K24568
Project/Area Number (Other) 22H03310 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 58010:Medical management and medical sociology-related
Research InstitutionNagoya University

Principal Investigator

藤原 道隆  名古屋大学, 医学部附属病院, 病院教授 (70378222)

Co-Investigator(Kenkyū-buntansha) 小山 博史  東京大学, 大学院医学系研究科(医学部), 教授 (30194640)
高見 秀樹  名古屋大学, 医学部附属病院, 病院講師 (40723028)
田中 由浩  名古屋工業大学, 工学(系)研究科(研究院), 教授 (90432286)
Project Period (FY) 2024-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000)
Fiscal Year 2025: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2023: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2022: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000)
Keywords手術教育 / VRシミュレータ / VR博物館 / メタバース / VR外科教育 / 実技トレーニングDX / 遠隔教育 / 手術機器3Dデータ / 実技教育DX
Outline of Research at the Start

外科実技教育のDXを,対面と遠隔教育の両面で進める。
対面教育では,VRシミュレータを有効に活用する環境として,さまざまなプロジェクション・マッピングを用いるシステムを構築する。
遠隔教育では,オンライン上の教育や交流の場として,近年ビジネス応用が急激に拡がってきたメタバースを主たるプラットフォームとして,実際の教育プログラムを実施する。外科実技の教育や手技開発に重要な手術機器のさまざまな情報を含むVRギャラリーを構築し,メタバース空間でも利用できるようにする。また,マルチモーダルVRとして視聴触覚に加えて触覚を含める基礎的検討を行い,視聴(触)覚伝送を行う遠隔実技教育法の開発を進める。

Outline of Annual Research Achievements

本研究は、フィジカルとサイバーの両面でデジタル手術教育を進めるものである。フィジカル空間の装置としてVR手術シミュレータをより有効に用いる一方、サイバーでは、従来から使用可能な視聴覚以外のモダリティも加えたシステムを開発する。(1)VRシミュレータの新たな活用法として、別のVR手法を上乗せする試みとして、さまざまな実写映像をプロジェクションマッピングで併用することとした。2022年度にプロジェクションマッピング・システムを構築し、2023年度に光量や解像度を上げるシステム改良を行い、2024年度には実際に、臨床実習や若手外科医のVRシミュレータ体験の際にさまざまな映像を提示し、効果をアンケートで調査した。(2)手術室スタッフなどの教育を行うリアルの機器ギャラリーにおいて実機に重畳するAR表示を追加した。また、海外からの参加者や留学生向けに英語の説明を追加した。(3)2023年度からメタバースのVRセンター(メタバースxRセンター)構築を進めているところであるが、2024年度に実写VR映像から当院のバーチャルEMICUおよび手術室を作成した。メタバースのEMICU内に各種アラーム環境における多重課題の空間を作成し、医療者がクイズ形式で学ぶ教育プログラムを作成した。(4)遠隔教育に触覚モダリティを加えるため訓練者側に配布する触覚ディスプレイとなるモックデバイス製作を引き続き行なった。モックデバイスで対象臓器を把持する操作をHMD内画像に提示することができるようになったが、まだ凝固や切開などの操作を表現するには至らなかった。このため、外科医師や他の手術室スタッフが実際にバーチャル操作を行う実験は来年度に持ち越すことになった。(5) さらに嗅覚モダリティについては、エネルギーデバイスを作動させた時に発生する匂いをアロマシューターで発生させる装置の開発を引き続き行った。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

VRシミュレータと併用するプロジェクションマッピングやメタバースのVRセンターは予定通りの進捗であったが、遠隔学習用の触覚ディスプレイ(モックデバイス)製作に遅れが生じている。モックデバイスの操作(触覚フィードバック)とHMD内の映像(視覚)の連動は、対象物を把持する操作までは進んだが、エネルギーデバイスとしての凝固や切開操作の視聴触覚表現までは完成できなかった。このため、実際に医療スタッフが経験できるのは、対象臓器の把持に続くデバイスのロックとそれに伴うクリック感の体験までとなっている。凝固や切開操作のVR体験は来年度に持ち越すことになる。嗅覚ディスプレイについては、エネルギーデバイスを生体に作動させた際に発生する匂いを表現するアロマシューターを作成したが、人工香料の構成はまだ研究中である。

Strategy for Future Research Activity

(1)VR手術シミュレータを取り巻くプロジェクションマッピング・システムにさまざまな映像を提示し、訓練者に対する影響についてアンケートをとっているが、手術室の映像より環境映像の方が好まれる傾向が現れている。今後も実施し効果的な組み合わせを模索する。(2)外科教育に重要な手術機器に関するリアルとサイバー両面の博物館のコンテンツ開発を継続し、博物館教育を発展させる。コンテンツの視聴方法としては、実機に重ねるAR表示、HMD、web上と複数のVR手法を作成しているが、実際の教育でどのような組合せが効果的か、実際の外科教育に用いながら検討を続ける。(3)2023年度にメタバース会場における手術セミナーのトライアルを行い、2024年度はメタバース空間で臨床多重課題への対処法の研究を行った。2025年度は、バーチャル手術室における遠隔セミナーを行い、遠隔外科教育のさまざまな可能性について検討する。(3)遠隔教育は、上述のwebやメタバース・センター(MxR-M+)において実践するが、現在利用可能な視聴覚に触覚を加えた遠隔実技教育法の研究開発を引き続き進める。2022年度以来開発を進めてきた訓練者用の触覚ディスプレイは、エネルギーデバイスやステイプラーのハンドル部分の形状を有し、振動などで触覚を伝える機能を内蔵するモックデバイスで、HMDを介する視聴覚と併せデバイスの現実感を高める仕組みである。予定より進捗が遅れているが、2025年度にある程度の完成形にしたい。2025年度は、共同研究者以外の医療スタッフにも触覚ディスプレイを実際に操作させ、現実感などのデータを取得する予定である。このデバイスに遠隔で把持感や操作感を伝送する技術の研究も行う。(4) 嗅覚VR併用については、エネルギーデバイスを生体に作動させた際に発生する匂いを人工香料で合成する検討を続ける。

Report

(3 results)
  • 2024 Research-status Report
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (24 results)

All 2024 2023 2022 Other

All Journal Article (14 results) (of which Peer Reviewed: 10 results,  Open Access: 6 results) Presentation (8 results) Book (1 results) Remarks (1 results)

  • [Journal Article] Real-time ultrasound-guided thoracentesis simulation using an optical see-through head-mounted display: a proof-of-concept study2024

    • Author(s)
      Shotaro Okachi, Toshinori Matsui, Manami Sakurai, Takayasu Ito, Masahiro Morise, Kazuyoshi Imaizumi, Makoto Ishii, Michitaka Fujiwara
    • Journal Title

      Journal Of Ultrasonography

      Volume: 24 Issue: 96 Pages: 20240012-20240012

    • DOI

      10.15557/jou.2024.0012

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Oncological similarities between large type 3 and type 4 tumors in patients with resectable gastric cancer: a propensity score-matched analysis of a multi-institutional dataset2024

    • Author(s)
      Nakanishi K, Kanda M, Ito S, Mochizuki Y, Teramoto H, Ishigure K, Murai T, Asada T, Ishiyama A, Matsushita H, Shimizu D, Tanaka C, Fujiwara M, Murotani K, Kodera Y
    • Journal Title

      Gastric Cancer

      Volume: 27 Issue: 6 Pages: 1331-1341

    • DOI

      10.1007/s10120-024-01546-x

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Risk Factors for Long-term Body Weight Loss After Proximal Gastrectomy: A Retrospective Analysis2024

    • Author(s)
      Agatsuma Y, Nakanishi K, Tanaka C, Kanda M, Shimizu D, Umeda S, Kurimoto K, Inokawa Y, Takami H, Hattori N, Hayashi M, Nakayama G, Fujiwara M, Kodera Y
    • Journal Title

      Anticancer Research

      Volume: 44 Issue: 4 Pages: 1645-1651

    • DOI

      10.21873/anticanres.16963

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Skeleton-guided 3D convolutional neural network for tubular structure segmentation2024

    • Author(s)
      Zhu Ruiyun、Oda Masahiro、Hayashi Yuichiro、Kitasaka Takayuki、Misawa Kazunari、Fujiwara Michitaka、Mori Kensaku
    • Journal Title

      International Journal of Computer Assisted Radiology and Surgery

      Volume: 20 Issue: 1 Pages: 77-87

    • DOI

      10.1007/s11548-024-03215-x

    • Related Report
      2024 Research-status Report
    • Peer Reviewed
  • [Journal Article] VR外科シミュレーターを用いたスキルトレーニング2024

    • Author(s)
      藤原道隆
    • Journal Title

      Medical Imaging Technology

      Volume: 42 Pages: 43-49

    • Related Report
      2024 Research-status Report
  • [Journal Article] VR手術トレーニングの現在と今後―リアルとサイバーのマルチモーダル教育2024

    • Author(s)
      藤原道隆,桜井麻奈美,中西香企,高見秀樹,小寺泰弘,田中由浩
    • Journal Title

      臨床外科

      Volume: 79 Pages: 573-578

    • Related Report
      2024 Research-status Report
  • [Journal Article] The Application of Mixed Reality in Bronchoscopy Simulation Training: A Feasibility Study.2023

    • Author(s)
      Okachi S, Sakurai M, Matsui T, Ito T, Matsuzawa R, Morise M, Wakahara K, Ishii M, Fujiwara M.
    • Journal Title

      Surg Innov.

      Volume: 1 Issue: 5 Pages: 685-686

    • DOI

      10.1177/15533506231160201

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Preoperative indocyanine green fluorescence injection to accurately determine a proximal margin during robotic distal gastrectomy2023

    • Author(s)
      Nakanishi K, Tanaka C, Kanda M, Shimizu D, Furukawa K, Fujiwara M, Kawashima H, Kodera Y
    • Journal Title

      Asian Journal of Endoscopic Surgery

      Volume: 16 Issue: 1 Pages: 152-156

    • DOI

      10.1111/ases.13121

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 外科教育とVR(仮想現実),メタバース2023

    • Author(s)
      藤原道隆
    • Journal Title

      医学のあゆみ

      Volume: 285 Pages: 1113-1116

    • Related Report
      2023 Annual Research Report
  • [Journal Article] A Skelton context-aware 3D fully convolutional network for abdominal artery segmentation2023

    • Author(s)
      Ruiyun Zhu, Masahiro Oda, Yuichiro Hayashi, Takayuki Kitasaka, Kazunari Misawa, Michitaka Fujiwara, Kensaku Mori
    • Journal Title

      International Journal of Computer Assisted Radiology and Surgery

      Volume: 18 Pages: 461-472

    • DOI

      10.1007/s11548-022-02767-0

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Prognostic impact of a microscopic positive margin in patients undergoing gastrectomy for gastric cancer: a propensity score-matched analysis of a multi-institutional dataset2022

    • Author(s)
      Koki Nakanishi, Mitsuro Kanda, Seiji Ito, Yoshinari Mochizuki, Hitoshi Teramoto, Kiyoshi Ishigure, Toshifumi Murai, Takahiro Asada, Akiharu Ishiyama, Hidenobu Matsushita, Dai Shimizu, Chie Tanaka, Michitaka Fujiwara, Kenta Murotani, Yasuhiro Kodera
    • Journal Title

      Surgery Today

      Volume: 52 Pages: 559-566

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Drain Amylase Concentrations at 3h After Gastrectomy Enhance Early Prediction of Postoperative Peripancreatic Inflammatory Fluid Collection2022

    • Author(s)
      Koki Nakanishi, Mitsuro Kanda, Chie Tanaka, Shigeomi Takeda, Katsuhito Tanaka, Dai Shimizu, Yoshikuni Inokawa, Norifumi Hattori, Masamichi Hayashi, Goro Nakayama, Michitaka Fujiwara, Yasuhiro Kodera
    • Journal Title

      World Journal of Surgery

      Volume: 46 Issue: 3 Pages: 648-655

    • DOI

      10.1007/s00268-021-06401-z

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 手術室教育におけるVRシミュレーションとDX2022

    • Author(s)
      藤原道隆,桜井真奈美,相木一輝,土田祐揮,池ヶ谷厚
    • Journal Title

      手術医学

      Volume: 43 Pages: 197-203

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 胆膵外科手術教育におけるVR技術2022

    • Author(s)
      藤原道隆,林雄一郎,高見秀樹,小寺泰弘,小田昌宏,森健策
    • Journal Title

      胆と膵

      Volume: 43 Pages: 1663-1670

    • Related Report
      2022 Annual Research Report
  • [Presentation] アラーム関連多重課題に対するVR教育システム2024

    • Author(s)
      相木一輝、藤井雄介、桜井麻奈美、岩本朗、小山博史、藤原道隆
    • Organizer
      第23回日本VR医学会学術大会
    • Related Report
      2024 Research-status Report
  • [Presentation] 身体融合ロボットアバターを用いた鉗子操作技能学習の基礎検討2024

    • Author(s)
      佐藤嗣巳,藤原道隆,湯川光,南澤孝太,田中由浩
    • Organizer
      第42回 日本ロボット学会学術講演会
    • Related Report
      2024 Research-status Report
  • [Presentation] 呼吸器科領域でのxR活用2023

    • Author(s)
      岡地祥太郎、桜井麻奈美、藤原道隆
    • Organizer
      第34回日本臨床モニター学会総会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 腹腔鏡下縫合・結紮手技トレーニングにおけるAI画像評価の試み2023

    • Author(s)
      藤原道隆、藤原武史、柴田晃司
    • Organizer
      第35回日本小切開・鏡視外科学会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 腹腔鏡下縫合・結紮手技トレーニングにおけるAI画像評価の試み2023

    • Author(s)
      藤原道隆、藤原武史、柴田晃司、小寺泰弘
    • Organizer
      第48回日本外科系連合学会学術集会
    • Related Report
      2023 Annual Research Report
  • [Presentation] VR手術シミュレータの新規胃切除術モジュールの内容と有用性2023

    • Author(s)
      藤原道隆、梅田晋一、桜井麻奈美、相木一輝、藤井雄介、岡地祥太郎
    • Organizer
      第22回日本VR医学会学術大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 気管支鏡の理解向上を目的としたVR動画の作成2023

    • Author(s)
      岡地祥太郎、桜井麻奈美、今泉和良、松村雅代、藤原道隆
    • Organizer
      第22回日本VR医学会学術大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] VR手術教育の現状-VRシミュレータの意義2022

    • Author(s)
      藤原道隆
    • Organizer
      第21回 日本VR医学会学術集会
    • Related Report
      2022 Annual Research Report
  • [Book] ハプティクスとその応用―力触覚の伝送・記録・再現・表示― 第IV編第3章:術者の感覚運動制御を活用した触診システム2022

    • Author(s)
      田中由弘,藤原道隆,斉藤貴文
    • Total Pages
      340
    • Publisher
      シーエムシー出版
    • ISBN
      9784781316864
    • Related Report
      2022 Annual Research Report
  • [Remarks] MxR-M+(メタバース/メディカルxRセンター)

    • URL

      https://www.med.nagoya-u.ac.jp/mxr/metaverse.html

    • Related Report
      2023 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2025-12-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi