マルチモーダルVR技術を利用した外科実技教育DX

2022 年度 実績報告書

• 研究課題/領域番号: 22H03310
• 配分区分: 補助金
• 研究機関: 名古屋大学
• 研究代表者: 藤原 道隆 名古屋大学, 医学部附属病院, 病院教授 (70378222)
• 研究分担者: 田中 由浩 名古屋工業大学, 工学(系)研究科(研究院), 教授 (90432286) ; 高見 秀樹 名古屋大学, 医学部附属病院, 病院講師 (40723028) ; 小山 博史 東京大学, 大学院医学系研究科(医学部), 教授 (30194640)
• 研究期間 (年度): 2022-04-01 – 2026-03-31
• キーワード: 手術教育 / VRシミュレータ / VR博物館 / メタバース

研究実績の概要

学習者が魅惑的な環境で、自ら課題を追求するアクティブ・ラーニングが可能な場として、我々は「博物館」というコンセプトを着想し、科学研究費助成事業 基盤研究(C)：「博物館」で施行する手術教育(19K10507)(2019～2021)で実施した。この研究期間中にコロナ感染拡大があり、遠隔教育を含めたデジタルトランスフォーメーション(DX)の必要を迫られ、当初計画よりデジタルに軸足を移した研究となったが、ポストコロナ時代においても教育DXの必要性は不変で、本研究はVR技術を用いてこの内容をさらに進めるものである。
2022年度は、(1) VR手術シミュレータをより高い臨場感のなかで運用できるように、VR画像をシミュレータの周囲に投影するシステムを作成した。(2)前研究にひきつづき、off the job手術トレーニングの場である「博物館」のさまざまなVRコンテンツ作成を行った。さらに本研究では特にサイバー空間の博物館に重点を置き、重要機器の3Dイメージを増やした。このサイバー博物館を実際の遠隔セミナーに試用したが、別途ウェブナーに接続する必要があるなど学習者の負担が大きく、参加者の評価は必ずしも良いものではなかった。そこで一元的にサイバー博物館の中で講習を実施できるように、2022年頃からビジネス利用に注目が高まり始めたメタバース技術を応用することにし、博物館とリンクしたメタバースの教育会場作成を開始した。(3)触覚の伝送を含めた遠隔実技教育法を開発するため、2022年度は、訓練者が使用する汎用型のエネルギーデバイスのハンドル部分を試作した。さまざまな長さのデバイスの擬似感覚を表現するための基礎的な研究を行った。(4)嗅覚VR併用については、アロマシューターを利用して、生体にエネルギーデバイスを作動させたときに生じるにおいと感じさせる擬似嗅覚提示について実験的検討を開始した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究の初年度であったが、VR手術シミュレータの画面データを取り出し壁面投影することはできた。しかし，プロジェクターの出力不足などのため照明が明るいと画像を見にくく、実際の教育効果が期待できるレベルに改良する必要がある。手術機器博物館は、サイバー博物館により力点を置いたが、上述のように予定通りの進捗であった。遠隔教育に関しては、昨年頃から急激に実用化が進み始めたメタバース空間を導入することにした。博物館AR/VRやヘッドマウントディスプレイ(HMD)用VRコンテンツ作成に費やす予定のエフォートの一部をメタバースに振り向けたことになるが、最終目標のマルチモーダルなシステムに載せるプログラム作成という点からは有意義と考えている。

今後の研究の推進方策

(1) 2022年度に引き続きVR手術シミュレータを取り巻くプロジェクションマッピング投影環境を改良するとともに、この環境を生かすプログラムを作成する。(2）現代の外科教育の重要な柱のひとつとして、手術機器に関するリアルとサイバー両面の博物館のコンテンツを開発し、博物館教育を進展させる。これらのコンテンツの視聴方法として、2Dディスプレイ、実機に重ねるAR表示、HMD、web上などさまざまなVR手法を作成し、実際の教育で試行しながら進展させる。また、2022年度に引き続きメタバース空間の作成を行い、2023年度にメタバース会場におけるセミナーのトライアルを行いたい．一方、コロナ感染状況の改善と共に対面教育の制限が緩和されたことからリアルとサイバーの最適な組合せ方法について改めて検討も行う。(3)遠隔教育の意義が認識されたことにより、ポストコロナ時代においてもさらに遠隔教育を充実させるニーズが存在する。上述のwebやメタバースが遠隔教育に利用できるが、現在は視聴覚しか使用できない。触覚を含めた遠隔実技教育法の研究開発を進める。2022年度、訓練者が使用する汎用型のエネルギーデバイスのハンドル部分を試作した。2023年度も引き続きモックデバイスの開発を進める。擬似触覚をもたらす振動などの機能を内蔵させ、このデバイスに遠隔で把持感や操作感を伝送する技術の研究を行う。(4) 嗅覚VR併用については、アロマシューターを改良して遠隔で嗅覚提示できないかの基礎的検討を続ける。

研究成果

• [雑誌論文] A Skelton context-aware 3D fully convolutional network for abdominal artery segmentation (2023)
  • 著者名/発表者名: Ruiyun Zhu, Masahiro Oda, Yuichiro Hayashi, Takayuki Kitasaka, Kazunari Misawa, Michitaka Fujiwara, Kensaku Mori
  • 雑誌名: International Journal of Computer Assisted Radiology and Surgery 巻: 18 ページ: 461-472
  • DOI: 10.1007/s11548-022-02767-0
  • 査読あり / オープンアクセス
• [雑誌論文] Prognostic impact of a microscopic positive margin in patients undergoing gastrectomy for gastric cancer: a propensity score-matched analysis of a multi-institutional dataset (2022)
  • 著者名/発表者名: Koki Nakanishi, Mitsuro Kanda, Seiji Ito, Yoshinari Mochizuki, Hitoshi Teramoto, Kiyoshi Ishigure, Toshifumi Murai, Takahiro Asada, Akiharu Ishiyama, Hidenobu Matsushita, Dai Shimizu, Chie Tanaka, Michitaka Fujiwara, Kenta Murotani, Yasuhiro Kodera
  • 雑誌名: Surgery Today 巻: 52 ページ: 559-566
  • DOI: 10.1007/s00595-021-02365-8K
  • 査読あり / オープンアクセス
• [雑誌論文] Drain Amylase Concentrations at 3h After Gastrectomy Enhance Early Prediction of Postoperative Peripancreatic Inflammatory Fluid Collection (2022)
  • 著者名/発表者名: Koki Nakanishi, Mitsuro Kanda, Chie Tanaka, Shigeomi Takeda, Katsuhito Tanaka, Dai Shimizu, Yoshikuni Inokawa, Norifumi Hattori, Masamichi Hayashi, Goro Nakayama, Michitaka Fujiwara, Yasuhiro Kodera
  • 雑誌名: World Journal of Surgery 巻: 46 ページ: 648-655
  • DOI: 10.1007/s00268-021-06401-z
  • 査読あり / オープンアクセス
• [雑誌論文] 手術室教育におけるVRシミュレーションとDX (2022)
  • 著者名/発表者名: 藤原道隆，桜井真奈美，相木一輝，土田祐揮，池ヶ谷厚
  • 雑誌名: 手術医学 巻: 43 ページ: 197-203
  • 査読あり
• [雑誌論文] 胆膵外科手術教育におけるVR技術 (2022)
  • 著者名/発表者名: 藤原道隆，林雄一郎，高見秀樹，小寺泰弘，小田昌宏，森健策
  • 雑誌名: 胆と膵 巻: 43 ページ: 1663-1670
• [学会発表] VR手術教育の現状-VRシミュレータの意義 (2022)
  • 著者名/発表者名: 藤原道隆
  • 学会等名: 第21回 日本VR医学会学術集会
• [図書] ハプティクスとその応用―力触覚の伝送・記録・再現・表示― 第IV編第3章：術者の感覚運動制御を活用した触診システム (2022)
  • 著者名/発表者名: 田中由弘，藤原道隆，斉藤貴文
  • 総ページ数: 340
  • 出版者: シーエムシー出版
  • ISBN: 978-4-7813-1686-4