• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

DX of surgical education using multimodal VR technology

Research Project

Project/Area Number 23K24568
Project/Area Number (Other) 22H03310 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 58010:Medical management and medical sociology-related
Research InstitutionNagoya University

Principal Investigator

藤原 道隆  名古屋大学, 医学部附属病院, 病院教授 (70378222)

Co-Investigator(Kenkyū-buntansha) 小山 博史  東京大学, 大学院医学系研究科(医学部), 教授 (30194640)
高見 秀樹  名古屋大学, 医学部附属病院, 病院講師 (40723028)
田中 由浩  名古屋工業大学, 工学(系)研究科(研究院), 教授 (90432286)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000)
Fiscal Year 2025: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2023: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2022: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000)
KeywordsVR外科教育 / 実技トレーニングDX / 遠隔教育 / メタバース / 手術機器3Dデータ / 手術教育 / VRシミュレータ / VR博物館 / 実技教育DX
Outline of Research at the Start

外科実技教育のDXを,対面と遠隔教育の両面で進める。
対面教育では,VRシミュレータを有効に活用する環境として,さまざまなプロジェクション・マッピングを用いるシステムを構築する。
遠隔教育では,オンライン上の教育や交流の場として,近年ビジネス応用が急激に拡がってきたメタバースを主たるプラットフォームとして,実際の教育プログラムを実施する。外科実技の教育や手技開発に重要な手術機器のさまざまな情報を含むVRギャラリーを構築し,メタバース空間でも利用できるようにする。また,マルチモーダルVRとして視聴触覚に加えて触覚を含める基礎的検討を行い,視聴(触)覚伝送を行う遠隔実技教育法の開発を進める。

Outline of Annual Research Achievements

本研究は、デジタル手術教育をフィジカルとサイバーの両面で進めるものである。フィジカル空間の装置としてVR手術シミュレータを有効に用いる一方で、コロナ後も要望が強い遠隔教育に、従来から使用可能な視聴覚以外のモダリティも加えて、実技部分にある程度対応するシステムを開発している。(1)VRシミュレータの新たな活用法として、さらに別のVR手法を上乗せする試みとして、プロジェクションマッピングでさまざまな実写VR映像を併用することとし、2022年度にプロジェクションマッピング・システムの構築を行ったが、光量が不十分で解像度も良くなかったため2023年度に改良を行った。(2)手術室スタッフ向けの教育として、リアルの機器ギャラリーに実機に重ねるAR説明を追加するとともに、HMDで体験する手術機器ギャラリーを作成した。サイバー上の展示、機器の3Dイメージも追加した。 (3)遠隔教育や研究の場としてメタバースのVRセンター(メタバースxRセンター)を作成し、教育セミナーのプロト版を試行した。会場の手術機器ギャラリーの一部を表現したり、実写VR映像から作成するさまざまな診療現場の作成を2024年度にかけて進めているところである。(4)遠隔教育に触覚モダリティを加えるため、訓練者側に配布する触覚ディスプレイであるモックデバイス製作を昨年度から引き続き行なった。汎用型のエネルギーデバイスやステイプラーのハンドル部分の形状のデバイス試作機を、医療スタッフが試用しながらリアリティを高めるよう改良している。この作業は2024年度も引き続き行い、2024年度には実際の手術セミナーの実習で評価する。 (5) さらに嗅覚モダリティについては、エネルギーデバイスを作動させた時に発生するかすかな匂いをアロマシューターで発生させる装置の開発を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

プロジェクションマッピングは、映像の解像度が低く、暗くて見にくい問題に対して、プロジェクターやソフトウェアを変更するなど改善し、実際のVRシミュレータ実習に使用できるようになった。遠隔教育に関しては、メタバースのVRセンターを構築した。手術機器ギャラリーは、ARおよびwebギャラリーのコンテンツ追加とHMDで体験するVRギャラリーを利用可能にした。メタバース空間の壁面などはまだ作成中であるが、2023年度に手術室スタッフ向けのセミナーの予行を行いメタバース内でのプレゼンなどの問題点を明らかにした。問題点に対する改良やコンテンツを追加し、2024年度にメタバースでのセミナーを実際に行う予定である。遠隔学習用の触覚ディスプレイ製作も進んでおり、2024年度中に実際に医療スタッフに試用させることが可能と考えている。嗅覚ディスプレイについては、エネルギーデバイスを生体に作動させた際に発生する匂いを表現するアロマシューターを作成した。人工香料で表現できないか香料を検索している。

Strategy for Future Research Activity

(1) VR手術シミュレータを取り巻くプロジェクションマッピング・システムにさまざまな映像を提示し、訓練者に対する影響について調べる。(2)外科教育に重要な手術機器に関するリアルとサイバー両面の博物館のコンテンツ開発を継続し、博物館教育を進展させる。これらのコンテンツの視聴方法としては、実機に重ねるAR表示、HMD、web上と複数のVR手法を作成しているが、実際の教育でどのような組合せが効果的か、実際の外科教育に用いながら検討する。(3)2023年度にメタバース会場におけるセミナーのトライアルを行ったが、メタバース空間の作り込みを進め、2024年度には実際のセミナーを行う.(4)遠隔教育は、上述のwebやメタバース・センター(MxR-M+)において実践するが、現在使える視聴覚に触覚を加えた遠隔実技教育法の研究開発を進める。2022年度以来進めている訓練者用の触覚ディスプレイ開発を2024年度も継続する。エネルギーデバイスやステイプラーのハンドル部分の形状を有し、振動などで触覚を伝える機能を内蔵するモックデバイスで、視聴覚と併せたクロスモーダル効果でさまざまなデバイスの現実感を提供することが期待される。2024年度は、医療スタッフに触覚ディスプレイを実際に操作させ、現実感などのデータを取得する予定である。このデバイスに遠隔で把持感や操作感を伝送する技術の研究も行う。(5) 嗅覚VR併用については、エネルギーデバイスを生体に作動させた際に発生する匂いを人工香料で合成する検討を続ける。

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (16 results)

All 2023 2022 Other

All Journal Article (8 results) (of which Peer Reviewed: 6 results,  Open Access: 3 results) Presentation (6 results) Book (1 results) Remarks (1 results)

  • [Journal Article] The Application of Mixed Reality in Bronchoscopy Simulation Training: A Feasibility Study.2023

    • Author(s)
      Okachi S, Sakurai M, Matsui T, Ito T, Matsuzawa R, Morise M, Wakahara K, Ishii M, Fujiwara M.
    • Journal Title

      Surg Innov.

      Volume: 1 Issue: 5 Pages: 685-686

    • DOI

      10.1177/15533506231160201

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Preoperative indocyanine green fluorescence injection to accurately determine a proximal margin during robotic distal gastrectomy2023

    • Author(s)
      Nakanishi K, Tanaka C, Kanda M, Shimizu D, Furukawa K, Fujiwara M, Kawashima H, Kodera Y
    • Journal Title

      Asian Journal of Endoscopic Surgery

      Volume: 16 Issue: 1 Pages: 152-156

    • DOI

      10.1111/ases.13121

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 外科教育とVR(仮想現実),メタバース2023

    • Author(s)
      藤原道隆
    • Journal Title

      医学のあゆみ

      Volume: 285 Pages: 1113-1116

    • Related Report
      2023 Annual Research Report
  • [Journal Article] A Skelton context-aware 3D fully convolutional network for abdominal artery segmentation2023

    • Author(s)
      Ruiyun Zhu, Masahiro Oda, Yuichiro Hayashi, Takayuki Kitasaka, Kazunari Misawa, Michitaka Fujiwara, Kensaku Mori
    • Journal Title

      International Journal of Computer Assisted Radiology and Surgery

      Volume: 18 Pages: 461-472

    • DOI

      10.1007/s11548-022-02767-0

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Prognostic impact of a microscopic positive margin in patients undergoing gastrectomy for gastric cancer: a propensity score-matched analysis of a multi-institutional dataset2022

    • Author(s)
      Koki Nakanishi, Mitsuro Kanda, Seiji Ito, Yoshinari Mochizuki, Hitoshi Teramoto, Kiyoshi Ishigure, Toshifumi Murai, Takahiro Asada, Akiharu Ishiyama, Hidenobu Matsushita, Dai Shimizu, Chie Tanaka, Michitaka Fujiwara, Kenta Murotani, Yasuhiro Kodera
    • Journal Title

      Surgery Today

      Volume: 52 Pages: 559-566

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Drain Amylase Concentrations at 3h After Gastrectomy Enhance Early Prediction of Postoperative Peripancreatic Inflammatory Fluid Collection2022

    • Author(s)
      Koki Nakanishi, Mitsuro Kanda, Chie Tanaka, Shigeomi Takeda, Katsuhito Tanaka, Dai Shimizu, Yoshikuni Inokawa, Norifumi Hattori, Masamichi Hayashi, Goro Nakayama, Michitaka Fujiwara, Yasuhiro Kodera
    • Journal Title

      World Journal of Surgery

      Volume: 46 Issue: 3 Pages: 648-655

    • DOI

      10.1007/s00268-021-06401-z

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 手術室教育におけるVRシミュレーションとDX2022

    • Author(s)
      藤原道隆,桜井真奈美,相木一輝,土田祐揮,池ヶ谷厚
    • Journal Title

      手術医学

      Volume: 43 Pages: 197-203

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 胆膵外科手術教育におけるVR技術2022

    • Author(s)
      藤原道隆,林雄一郎,高見秀樹,小寺泰弘,小田昌宏,森健策
    • Journal Title

      胆と膵

      Volume: 43 Pages: 1663-1670

    • Related Report
      2022 Annual Research Report
  • [Presentation] 呼吸器科領域でのxR活用2023

    • Author(s)
      岡地祥太郎、桜井麻奈美、藤原道隆
    • Organizer
      第34回日本臨床モニター学会総会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 腹腔鏡下縫合・結紮手技トレーニングにおけるAI画像評価の試み2023

    • Author(s)
      藤原道隆、藤原武史、柴田晃司
    • Organizer
      第35回日本小切開・鏡視外科学会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 腹腔鏡下縫合・結紮手技トレーニングにおけるAI画像評価の試み2023

    • Author(s)
      藤原道隆、藤原武史、柴田晃司、小寺泰弘
    • Organizer
      第48回日本外科系連合学会学術集会
    • Related Report
      2023 Annual Research Report
  • [Presentation] VR手術シミュレータの新規胃切除術モジュールの内容と有用性2023

    • Author(s)
      藤原道隆、梅田晋一、桜井麻奈美、相木一輝、藤井雄介、岡地祥太郎
    • Organizer
      第22回日本VR医学会学術大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 気管支鏡の理解向上を目的としたVR動画の作成2023

    • Author(s)
      岡地祥太郎、桜井麻奈美、今泉和良、松村雅代、藤原道隆
    • Organizer
      第22回日本VR医学会学術大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] VR手術教育の現状-VRシミュレータの意義2022

    • Author(s)
      藤原道隆
    • Organizer
      第21回 日本VR医学会学術集会
    • Related Report
      2022 Annual Research Report
  • [Book] ハプティクスとその応用―力触覚の伝送・記録・再現・表示― 第IV編第3章:術者の感覚運動制御を活用した触診システム2022

    • Author(s)
      田中由弘,藤原道隆,斉藤貴文
    • Total Pages
      340
    • Publisher
      シーエムシー出版
    • ISBN
      9784781316864
    • Related Report
      2022 Annual Research Report
  • [Remarks] MxR-M+(メタバース/メディカルxRセンター)

    • URL

      https://www.med.nagoya-u.ac.jp/mxr/metaverse.html

    • Related Report
      2023 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi