• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

マルチモーダルVR技術を利用した外科実技教育DX

研究課題

研究課題/領域番号 23K24568
補助金の研究課題番号 22H03310 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分58010:医療管理学および医療系社会学関連
研究機関名古屋大学

研究代表者

藤原 道隆  名古屋大学, 医学部附属病院, 病院教授 (70378222)

研究分担者 小山 博史  東京大学, 大学院医学系研究科(医学部), 教授 (30194640)
高見 秀樹  名古屋大学, 医学部附属病院, 病院講師 (40723028)
田中 由浩  名古屋工業大学, 工学(系)研究科(研究院), 教授 (90432286)
研究期間 (年度) 2022-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)
2025年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
2024年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2023年度: 6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2022年度: 7,280千円 (直接経費: 5,600千円、間接経費: 1,680千円)
キーワードVR外科教育 / 実技トレーニングDX / 遠隔教育 / メタバース / 手術機器3Dデータ / 手術教育 / VRシミュレータ / VR博物館 / 実技教育DX
研究開始時の研究の概要

外科実技教育のDXを,対面と遠隔教育の両面で進める。
対面教育では,VRシミュレータを有効に活用する環境として,さまざまなプロジェクション・マッピングを用いるシステムを構築する。
遠隔教育では,オンライン上の教育や交流の場として,近年ビジネス応用が急激に拡がってきたメタバースを主たるプラットフォームとして,実際の教育プログラムを実施する。外科実技の教育や手技開発に重要な手術機器のさまざまな情報を含むVRギャラリーを構築し,メタバース空間でも利用できるようにする。また,マルチモーダルVRとして視聴触覚に加えて触覚を含める基礎的検討を行い,視聴(触)覚伝送を行う遠隔実技教育法の開発を進める。

研究実績の概要

本研究は、デジタル手術教育をフィジカルとサイバーの両面で進めるものである。フィジカル空間の装置としてVR手術シミュレータを有効に用いる一方で、コロナ後も要望が強い遠隔教育に、従来から使用可能な視聴覚以外のモダリティも加えて、実技部分にある程度対応するシステムを開発している。(1)VRシミュレータの新たな活用法として、さらに別のVR手法を上乗せする試みとして、プロジェクションマッピングでさまざまな実写VR映像を併用することとし、2022年度にプロジェクションマッピング・システムの構築を行ったが、光量が不十分で解像度も良くなかったため2023年度に改良を行った。(2)手術室スタッフ向けの教育として、リアルの機器ギャラリーに実機に重ねるAR説明を追加するとともに、HMDで体験する手術機器ギャラリーを作成した。サイバー上の展示、機器の3Dイメージも追加した。 (3)遠隔教育や研究の場としてメタバースのVRセンター(メタバースxRセンター)を作成し、教育セミナーのプロト版を試行した。会場の手術機器ギャラリーの一部を表現したり、実写VR映像から作成するさまざまな診療現場の作成を2024年度にかけて進めているところである。(4)遠隔教育に触覚モダリティを加えるため、訓練者側に配布する触覚ディスプレイであるモックデバイス製作を昨年度から引き続き行なった。汎用型のエネルギーデバイスやステイプラーのハンドル部分の形状のデバイス試作機を、医療スタッフが試用しながらリアリティを高めるよう改良している。この作業は2024年度も引き続き行い、2024年度には実際の手術セミナーの実習で評価する。 (5) さらに嗅覚モダリティについては、エネルギーデバイスを作動させた時に発生するかすかな匂いをアロマシューターで発生させる装置の開発を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

プロジェクションマッピングは、映像の解像度が低く、暗くて見にくい問題に対して、プロジェクターやソフトウェアを変更するなど改善し、実際のVRシミュレータ実習に使用できるようになった。遠隔教育に関しては、メタバースのVRセンターを構築した。手術機器ギャラリーは、ARおよびwebギャラリーのコンテンツ追加とHMDで体験するVRギャラリーを利用可能にした。メタバース空間の壁面などはまだ作成中であるが、2023年度に手術室スタッフ向けのセミナーの予行を行いメタバース内でのプレゼンなどの問題点を明らかにした。問題点に対する改良やコンテンツを追加し、2024年度にメタバースでのセミナーを実際に行う予定である。遠隔学習用の触覚ディスプレイ製作も進んでおり、2024年度中に実際に医療スタッフに試用させることが可能と考えている。嗅覚ディスプレイについては、エネルギーデバイスを生体に作動させた際に発生する匂いを表現するアロマシューターを作成した。人工香料で表現できないか香料を検索している。

今後の研究の推進方策

(1) VR手術シミュレータを取り巻くプロジェクションマッピング・システムにさまざまな映像を提示し、訓練者に対する影響について調べる。(2)外科教育に重要な手術機器に関するリアルとサイバー両面の博物館のコンテンツ開発を継続し、博物館教育を進展させる。これらのコンテンツの視聴方法としては、実機に重ねるAR表示、HMD、web上と複数のVR手法を作成しているが、実際の教育でどのような組合せが効果的か、実際の外科教育に用いながら検討する。(3)2023年度にメタバース会場におけるセミナーのトライアルを行ったが、メタバース空間の作り込みを進め、2024年度には実際のセミナーを行う.(4)遠隔教育は、上述のwebやメタバース・センター(MxR-M+)において実践するが、現在使える視聴覚に触覚を加えた遠隔実技教育法の研究開発を進める。2022年度以来進めている訓練者用の触覚ディスプレイ開発を2024年度も継続する。エネルギーデバイスやステイプラーのハンドル部分の形状を有し、振動などで触覚を伝える機能を内蔵するモックデバイスで、視聴覚と併せたクロスモーダル効果でさまざまなデバイスの現実感を提供することが期待される。2024年度は、医療スタッフに触覚ディスプレイを実際に操作させ、現実感などのデータを取得する予定である。このデバイスに遠隔で把持感や操作感を伝送する技術の研究も行う。(5) 嗅覚VR併用については、エネルギーデバイスを生体に作動させた際に発生する匂いを人工香料で合成する検討を続ける。

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (16件)

すべて 2023 2022 その他

すべて 雑誌論文 (8件) (うち査読あり 6件、 オープンアクセス 3件) 学会発表 (6件) 図書 (1件) 備考 (1件)

  • [雑誌論文] The Application of Mixed Reality in Bronchoscopy Simulation Training: A Feasibility Study.2023

    • 著者名/発表者名
      Okachi S, Sakurai M, Matsui T, Ito T, Matsuzawa R, Morise M, Wakahara K, Ishii M, Fujiwara M.
    • 雑誌名

      Surg Innov.

      巻: 1 号: 5 ページ: 685-686

    • DOI

      10.1177/15533506231160201

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Preoperative indocyanine green fluorescence injection to accurately determine a proximal margin during robotic distal gastrectomy2023

    • 著者名/発表者名
      Nakanishi K, Tanaka C, Kanda M, Shimizu D, Furukawa K, Fujiwara M, Kawashima H, Kodera Y
    • 雑誌名

      Asian Journal of Endoscopic Surgery

      巻: 16 号: 1 ページ: 152-156

    • DOI

      10.1111/ases.13121

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] 外科教育とVR(仮想現実),メタバース2023

    • 著者名/発表者名
      藤原道隆
    • 雑誌名

      医学のあゆみ

      巻: 285 ページ: 1113-1116

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] A Skelton context-aware 3D fully convolutional network for abdominal artery segmentation2023

    • 著者名/発表者名
      Ruiyun Zhu, Masahiro Oda, Yuichiro Hayashi, Takayuki Kitasaka, Kazunari Misawa, Michitaka Fujiwara, Kensaku Mori
    • 雑誌名

      International Journal of Computer Assisted Radiology and Surgery

      巻: 18 ページ: 461-472

    • DOI

      10.1007/s11548-022-02767-0

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Prognostic impact of a microscopic positive margin in patients undergoing gastrectomy for gastric cancer: a propensity score-matched analysis of a multi-institutional dataset2022

    • 著者名/発表者名
      Koki Nakanishi, Mitsuro Kanda, Seiji Ito, Yoshinari Mochizuki, Hitoshi Teramoto, Kiyoshi Ishigure, Toshifumi Murai, Takahiro Asada, Akiharu Ishiyama, Hidenobu Matsushita, Dai Shimizu, Chie Tanaka, Michitaka Fujiwara, Kenta Murotani, Yasuhiro Kodera
    • 雑誌名

      Surgery Today

      巻: 52 ページ: 559-566

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Drain Amylase Concentrations at 3h After Gastrectomy Enhance Early Prediction of Postoperative Peripancreatic Inflammatory Fluid Collection2022

    • 著者名/発表者名
      Koki Nakanishi, Mitsuro Kanda, Chie Tanaka, Shigeomi Takeda, Katsuhito Tanaka, Dai Shimizu, Yoshikuni Inokawa, Norifumi Hattori, Masamichi Hayashi, Goro Nakayama, Michitaka Fujiwara, Yasuhiro Kodera
    • 雑誌名

      World Journal of Surgery

      巻: 46 号: 3 ページ: 648-655

    • DOI

      10.1007/s00268-021-06401-z

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 手術室教育におけるVRシミュレーションとDX2022

    • 著者名/発表者名
      藤原道隆,桜井真奈美,相木一輝,土田祐揮,池ヶ谷厚
    • 雑誌名

      手術医学

      巻: 43 ページ: 197-203

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] 胆膵外科手術教育におけるVR技術2022

    • 著者名/発表者名
      藤原道隆,林雄一郎,高見秀樹,小寺泰弘,小田昌宏,森健策
    • 雑誌名

      胆と膵

      巻: 43 ページ: 1663-1670

    • 関連する報告書
      2022 実績報告書
  • [学会発表] 呼吸器科領域でのxR活用2023

    • 著者名/発表者名
      岡地祥太郎、桜井麻奈美、藤原道隆
    • 学会等名
      第34回日本臨床モニター学会総会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 腹腔鏡下縫合・結紮手技トレーニングにおけるAI画像評価の試み2023

    • 著者名/発表者名
      藤原道隆、藤原武史、柴田晃司
    • 学会等名
      第35回日本小切開・鏡視外科学会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 腹腔鏡下縫合・結紮手技トレーニングにおけるAI画像評価の試み2023

    • 著者名/発表者名
      藤原道隆、藤原武史、柴田晃司、小寺泰弘
    • 学会等名
      第48回日本外科系連合学会学術集会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] VR手術シミュレータの新規胃切除術モジュールの内容と有用性2023

    • 著者名/発表者名
      藤原道隆、梅田晋一、桜井麻奈美、相木一輝、藤井雄介、岡地祥太郎
    • 学会等名
      第22回日本VR医学会学術大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 気管支鏡の理解向上を目的としたVR動画の作成2023

    • 著者名/発表者名
      岡地祥太郎、桜井麻奈美、今泉和良、松村雅代、藤原道隆
    • 学会等名
      第22回日本VR医学会学術大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] VR手術教育の現状-VRシミュレータの意義2022

    • 著者名/発表者名
      藤原道隆
    • 学会等名
      第21回 日本VR医学会学術集会
    • 関連する報告書
      2022 実績報告書
  • [図書] ハプティクスとその応用―力触覚の伝送・記録・再現・表示― 第IV編第3章:術者の感覚運動制御を活用した触診システム2022

    • 著者名/発表者名
      田中由弘,藤原道隆,斉藤貴文
    • 総ページ数
      340
    • 出版者
      シーエムシー出版
    • ISBN
      9784781316864
    • 関連する報告書
      2022 実績報告書
  • [備考] MxR-M+(メタバース/メディカルxRセンター)

    • URL

      https://www.med.nagoya-u.ac.jp/mxr/metaverse.html

    • 関連する報告書
      2023 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi