３Dホログラム提示による先天性臓器形態異常疾患に対する学習・治療包括支援システム

• Project/Area Number: 22K02918
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Kagoshima University
• Principal Investigator: 池江 隆正 鹿児島大学, 医歯学総合研究科, 客員研究員 (90363613)
• Co-Investigator(Kenkyū-buntansha): 家入 里志 鹿児島大学, 医歯学域医学系, 教授 (00363359) ; 大西 峻 鹿児島大学, 医歯学域鹿児島大学病院, 助教 (10614638) ; 村上 雅一 鹿児島大学, 鹿児島大学病院, 特任助教 (40825361) ; 加治 建 久留米大学, 医学部, 教授 (50315420) ; 植村 宗則 鹿児島大学, 医歯学総合研究科, 客員研究員 (50636157) ; 杉本 真樹 帝京大学, 付置研究所, 教授 (70398733) ; 武藤 充 鹿児島大学, 医歯学域鹿児島大学病院, 講師 (70404522) ; 春松 敏夫 鹿児島大学, 医歯学総合研究科, 客員研究員 (70614642) ; 山田 耕嗣 鹿児島大学, 医歯学総合研究科, 客員研究員 (80528042)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2022: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
• Keywords: ホログラム / VRゴーグル / MR / AR / 小児外科 / 内視鏡手術 / 医学教育 / シミュレータ / ３Dホログラム / 医用画像 / MR(Mixed Reality) / 先天性形態異常疾患 / 治療支援システム / 先天性臓器形態異常疾患 / 包括的治療支援システム

Outline of Research at the Start

本研究では患者のCTやMRIなどの術前あるいは術中の医用画像から得られたDICOMデータを３Dポリゴンデータに変換、臓器をボリュームとして立体映像に再構成し、MR(Mixed Reality)ゴーグルを用いて現実空間に３Dホログラムとして投影提示するMR技術を応用し、小児外科領域における先天性形態異常疾患に対する学習支援システムとして医学生や研修医の疾患理解の教育に使用するだけでなく、臨床現場における外科医の手術方針を含む包括的治療支援システムを構築する。

Outline of Annual Research Achievements

本研究では患者のCTやMRIなどの術前あるいは術中の医用画像から得られたDICOMデータを３Dポリゴンデータに変換、臓器をボリュームとして立体映像に再構成し, MR(Mixed Reality)ゴーグルを用いて現実空間に３Dホログラムとして投影提示するMR技術を応用し、小児外科領域における先天性形態異常疾患に対する学習支援システムとして医学生や研修医の疾患理解の教育に使用するだけでなく、臨床現場における外科医の手術方針を含む包括的治療支援システムを構築する。
３Dホログラムと普及型の2Dモニター表示を比較した際に、医学生の疾患の理解度に有意差が生じるかを検証した。画像は小児肝腫瘍の術前画像を用いた。患者CT画像から得られたDICOMデータから対象臓器のセグメンテ―ションを行い３Dポリゴンデータに変換、臓器をボリュームとして立体映像を作成した。学生を3群（2D画像、3D画像、VRゴーグルを用いたホログラム画像）にわけて、それぞれの画像を見てもらった後、病変の位置および処理すべき脈管について質問した。各群間で有意差はなかったが、ホログラムを使用した学生は学習意欲が刺激されていた。学習の機会均等化するために３Dホログラムと普及型の2Dモニターを割付し、評価検証した後、双方の学習を行った。
また臨床現場でも使用することで、術前・術中の解剖の情報共有をしている。術前意思決定における詳細な検討は今後おこなっていく。小児外科における臨床手術においても破格の多い疾患（先天性食度閉鎖症/胆道拡張症/膵胆管合流異常症/直腸肛門奇形(鎖肛)を対象として、術中に３Dホログラムを用いた手術ナビゲーションを行う。後方視的に３Dホログラムを使用していない症例と比較検証し、術中のDecision Makingに与えた影響および術中の鉗子操作に及ぼした影響を解析する。録画記録された内視鏡外科手術の映像をもとに、手術操作が停止あるいは停滞した時間を抽出して検証する。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

計画通り、医学生に対するホログラム画像を用いたその有用性の検証を行った。今後は研修医、小児外科医と対象者を増やしていくことで、研究を進めていく。

Strategy for Future Research Activity

今後は研修医、小児外科医と対象者を増やしていくことで、研究を進めていく。

Research Products

• [Journal Article] 特集 ロボット支援手術 小児外科領域における次世代手術支援ロボット開発-Soft Roboticsの可能性- (2023)
  • Author(s): 家入 里志、杉田 光士郎、春松 敏夫、山田 和歌、川野 孝文、武藤 充、山田 耕嗣、大西 峻、村上 雅一、矢野 圭輔、岩元 祐実子、緒方 将人、高田 倫、祁答院 千寛
  • Journal Title: 小児外科 Volume: 55 Issue: 5 Pages: 525-531
  • DOI: 10.24479/ps.0000000445
  • ISSN: 0385-6313
  • Year and Date: 2023-05-25
• [Journal Article] Proctoring System of Pediatric Laparoscopic Surgery for Choledochal Cyst (2023)
  • Author(s): Murakami M、Yamada K、Onishi S、Harumatsu To、Baba T、Kuda M、Miyoshi K、Koga Y、Masuya R、 Kawano T、Muto M、Hayashida M、Nakame K、Shinyama S、Kuwabara J、Tatsuta K、Yanagi Y、Hirose R、Shono T、Migita M、Kaji T、Takatsuki M、Nanashima A、Matsufuji H、Ieiri S
  • Journal Title: Journal of Laparoendoscopic & Advanced Surgical Techniques Volume: 33 Issue: 11 Pages: 1109-1113
  • DOI: 10.1089/lap.2023.0087
  • Peer Reviewed / Open Access
• [Journal Article] The experimental evaluation of the effects of display size on forceps manipulation and eye and head movement of endoscopic surgery using a pediatric laparoscopic fundoplication simulator (2023)
  • Author(s): Yamada Koji、Nakazono Ryoga、Murakami Masakazu、Sugita Koshiro、Yano Keisuke、Onishi Shun、Harumatsu Toshio、Yamada Waka、Matsukubo Makoto、Kawano Takafumi、Muto Mitsuru、Ieiri Satoshi
  • Journal Title: Journal of Pediatric Surgery Volume: 58 Issue: 4 Pages: 664-668
  • DOI: 10.1016/j.jpedsurg.2022.12.023
  • Peer Reviewed / Open Access
• [Journal Article] Can multiple-degree-of-freedom articulating instruments be effective in pediatric endoscopic surgery? - A prospective trial (2023)
  • Author(s): Murakami Masakazu、Tani Ayane、Masuda Shojun、Iwamoto Yumiko、Ogata Masato、Takada Lynne、Nishida Nanako、Kedoin Chihiro、Nagano Ayaka、Sugita Koshiro、Harumatsu Toshio、Onishi Shun、Kawano Takafumi、Muto Mitsuru、Ieiri Satoshi
  • Journal Title: Journal of Pediatric Surgery Open Volume: 4 Pages: 100071-100071
  • DOI: 10.1016/j.yjpso.2023.100071
  • Peer Reviewed / Open Access
• [Journal Article] An analysis of the correlation between the efficacy of training using a high-fidelity disease-specific simulator and the clinical outcomes of laparoscopic surgery for congenital biliary dilatation in pediatric patients (2022)
  • Author(s): Yamada Koji、Muto Mitsuru、Murakami Masakazu、Onishi Shun、Sugita Koshiro、Yano Keisuke、Harumatsu Toshio、Nishida Nanako、Nagano Ayaka、Kawano Masato、Yamada Waka、Matsukubo Makoto、Kawano Takafumi、Kaji Tatsuru、Ieiri Satoshi
  • Journal Title: International Journal of Computer Assisted Radiology and Surgery Volume: 18 Issue: 1 Pages: 55-61
  • DOI: 10.1007/s11548-022-02793-y
  • Peer Reviewed / Open Access
• [Presentation] Initial Experiences of Intraoperative 3D Hologram Support with Mixed Reality Navigation in Pediatric Endosurgery -Ultimate Image-Guided Future Precise Surgery (2023)
  • Author(s): Koshiro Sugita, Shun Onishi, Toshio Harumatsu, Maki Sugimoto, Nanako Nishida, Chihiro kedoin, Ayaka Nagano, Masakazu Murakami, Takafumi Kawano, Mitsuru Muto, Satoshi Ieiri
  • Organizer: EUPSA 2023
  • Int'l Joint Research
• [Presentation] Experiences of Intraoperative 3D Hologram Support with Mixed Reality Navigation in Pediatric Endosurgery -Ultimate Image-Guided Future Precise Surgery (2023)
  • Author(s): Onishi S, Sugita K, Harumatsu T, Sugimoto M, Nishida N, Kedoin C, Nagano A, Murakami M, Kawano T, Muto M, Ieiri S
  • Organizer: International Pediatric Endosurgery Group 32nd Annual meeting
  • Int'l Joint Research
• [Presentation] 3Dホログラムを用いた次世代型小児内視鏡外科手術 術野空間での近未来精密手術 (2023)
  • Author(s): 杉田 光士郎, 杉本 真樹, 春松 敏夫, 大西 峻, 西田 ななこ, 祁答院 千寛, 長野 綾香, 村上 雅一, 川野 孝文, 武藤 充, 家入 里志
  • Organizer: 第60回日本小児外科学会学術集会
• [Presentation] 画像診断を含めた新しいテクノロジーの小児外科治療への応用 Wearable holographic guide systemを用いたMixed realityナビゲーションの小児内視鏡外科手術への応用 (2023)
  • Author(s): 春松 敏夫, 杉本 真樹, 西田 ななこ, 長野 綾香, 村上 雅一, 杉田 光士郎, 大西 峻, 山田 耕嗣, 山田 和歌, 武藤 充, 川野 孝文, 家 入 里志
  • Organizer: 第123回日本外科学会定期学術集会