Development of virtual reality deformable physical simulation system for surgery

• Project/Area Number: 19K12065
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: University of the Ryukyus
• Principal Investigator: 宮城 智央 琉球大学, 医学部, 委託非常勤講師 (80573328)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000); Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2020: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000); Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: 手術シミュレーション / 外科手術 / 脳神経外科 / バーチャルリアリティ / 手術戦略 / 手術訓練 / 手術教育 / リアルタイム物理変形性 / バーチャルリアリティー / 脳神経外科手術 / 手術検討

Outline of Research at the Start

外科手術において、立体構造の正確な把握は合併症回避と手術完遂には必須である。通常の医療画像は2次元であり、3次元コンピュータ画像(3DCG)の表示には特別なデータ処理が必要となる。3DCG手術シミュレーションは手術向上に有益であるが、普及している多くのシステムは人体構造や病変部などの形状が変形しない剛性モデルであり、立体視ができず、高価である。本研究では、実際に手術予定の患者データを用いて、シミュレーションの操作者の手と頭部をバーチャルリアリティ(VR)空間へ即時に反映し、立体視可能な手術のためのリアルタイムVR変形性物理シミュレーション・システムを安価に開発し、手術への寄与を評価する。

Outline of Annual Research Achievements

脳神経外科手術において、頭蓋骨や腫瘍の切除、脳や血管が変形する操作、止血操作が必要であり、それらの手術戦略は重要である。以上について実装したリアルタイム物理変形性脳神経外科バーチャルリアリティ(VR)シミュレーション・システムの先端技術による開発を行った。臨床症例のMRIとCTのDICOMデータからモデリングソフトにて立体メッシュモデルのFBXデータを作成した。VRのための手と頭のモーショントラッキングは市販のデバイスを使用した。リアルタイム物理変形性VRシステムは、運搬が容易なノートパソコンを用いて、プログラミングを支援する統合開発環境システムにてC♯言語にて構築した。
本システムは次が可能である。1) VR手術室内を自由に歩いて座る、2) 患者の体位や手術器具の配置などの確認、3) マクロからマイクロへのシームレスな視点変化と両眼視差調整、4) 自由な部位での開頭、5) 器具による脳や血管の変形、6) 腫瘍摘出度の自動表示、7) 血管からの出血、8) 吸引管による血腫の吸引
操作、9) 電気凝固器具や血管クリップによる止血操作、10) モデルの硬度に応じた振動触覚フィードバック、11) 複数人の参加、12) IPネットワークによる遠隔参加、13) VR空間のモデルと手術操作の実寸大シミュレート、14) 重力や流体などの物理シミュレート。
本システムは13万円(VRデバイス3万円、ノートパソコン10万円)と安価に構築でき、DICOMデータから10-60分の短時間にて作成できた。上記の実装を全て実現
したシステムは、世界初であり最高峰のなかの1つとして、脳神経外科VRを達成したと考えられた。本システムは、臨床症例の解剖構造、手術操作を適確にシ
ミュレートしており、臨床応用として、脳神経外科医・医学生の手術戦略や臨床訓練に用いて好評を得ており、実用的であると考えられた。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

令和元年度の研究計画では、主に次の2点の目標があった。(1)すでに作成していたプロトタイプのバーチャルリアリティ(VR)・シミュレーション・システムを、医学生・研修医・専門医・実際の手術を行う執刀医などに使用してもらい、その実用性について評価し、その結果を基にシステムの評価・問題点・改良点を
明らかにしていくこと。(2)本システムについての論文公表・学会発表・インターネット公表などを行い、その実用性を臨床医に広く検討してもらい、意見交換を行うこと。以上の2点の目標を予定通りの令和元年度に達成することができた上に、令和2-3年度の研究計画として予定していた脳腫瘍摘出術、脳動脈瘤クリッピング術などの様々な疾患に対するVR・シミュレーション・システムの構築と改良も達成した。また、IPネットワークを介して遠隔に複数人が本システムに参加するように改良した。
多彩な病変に対する手術シミュレーションのモデルを作成・改良していくことについては、ポリゴンメッシュの表現をparticle-based法とmarching cubes法を基にした手法など、C♯言語によるプログラミングによって令和2年度から試行し、改善中である。
英語論文はJournal of the Japan Society for Simulation Surgery(2019)に発表した。研究代表者による学会発表は、2019年に4回、2020年に2回行った。一般公開として、Unite Tokyo 2019にて講演し、ネットにて記事が掲載された。
https://web.archive.org/web/20191001153617/
https://www.4gamer.net/games/210/G021014/20190927083/

Strategy for Future Research Activity

IPネットワークを介して遠隔的に複数人が参加可能なVR手術シミュレーション・システムを改良し、臨床応用の評価を重ねていく。
脳腫瘍摘出術、脳動脈瘤クリッピング術、その他の脳血管疾患などの多彩な病変に対する手術シミュレーションのモデルを作成・改良していくことについて
は、ポリゴンメッシュの表現をparticle-based法とmarching cubes法を基にした手法など、C♯言語によるプログラミングによって改善していく。
以上のように改良したシステムを、次年度以降も、医学生・研修医・専門医・実際の手術を行う執刀医などに使用してもらい、その実用性について再評価し、そ
の結果を基にシステムの評価・問題点・改良点を繰り返し検討していく。改良したシステムについての論文公表・学会発表・インターネット公表などを行い、そ
の実用性を臨床医にさらに広く検討してもらい、意見交換を行っていく。

Research Products

• [Journal Article] 最先端医療の今 臨床症例データに基づくリアルタイム物理変形性脳神経外科バーチャルリアリティ・シミュレーションの開発と臨床応用 (2021)
  • Author(s): 宮城 智央、石内 勝吾
  • Journal Title: Medical Science Digest Volume: 13 Pages: 700-703
• [Journal Article] Developing a real-time physically deformable neurosurgical virtual reality simulation system based on clinical case data (2019)
  • Author(s): Tomohisa Miyagi, Tomomi Kuninaka, Yuki Kinjo, Shigetaka Kobayashi, Hideki Nagamine, Yohei Hokama, Maki Kawabata, Ryoichi Usugi, Yukio Tsuchida, Chiaki Katagiri, Masahiko Nishimura, Kenichi Sugawara, Hiroshi Takagi, Shogo Ishiuchi
  • Journal Title: Journal of the Japan Society for Simulation Surgery Volume: 27 Pages: 19-23
  • Peer Reviewed
• [Presentation] 術用VRシステムを自作した経験による臨床応用の実際と今後の見通し (2021)
  • Author(s): 宮城 智央, 友利壮志, 國仲倫史, 金城 雄生, 小林 繁貴, 長嶺 英樹, 外間 洋平, 上 薫, 片桐 千秋, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 第30回日本形成外科学会基礎学術集会
• [Presentation] Virtual Private Network を用いた遠隔医療としてのバーチャルリアリティ手術シミュレーションシステムの開発 (2021)
  • Author(s): 宮城 智央,友利 壮志,國仲 倫史, 金城 雄生, 小林 繁貴, 長嶺 英樹, 外間 洋平, 宇杉 竜一, 上 薫, 片桐 千秋, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 第 31 回シミュレーション外科学会プログラム
• [Presentation] 多様な手術支援システムを用いた脳神経外科手術の臨床経験 (2021)
  • Author(s): 宮城 智央, 友利 壮志, 國仲 倫史, 金城 雄生, 小林 繁貴, 長嶺 英樹, 外間 洋平,上 薫, 宇杉 竜一, 片桐 千秋, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 日本脳神経外科学会 第80回学術総会
• [Presentation] 手術支援システムと暗号化遠隔通信バーチャル・リアリティ・手術シミュレーション を用いた脳神経外科手術 (2021)
  • Author(s): 宮城 智央,友利 壮志,國仲 倫史, 金城 雄生, 小林 繁貴, 長嶺 英樹, 外間 洋平, 宇杉 竜一, 上 薫, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 第24回日本臨床脳神経外科学会
• [Presentation] 初発神経膠腫に対する光線力学療法後の再発様式についての解析 (2021)
  • Author(s): 菅原 健一, 友利 壮志, 國仲 倫史, 金城 雄生, 小林 繁貴, 長嶺 英樹, 外間 洋平,宮城 智央, 石内 勝吾
  • Organizer: 日本脳神経外科学会 第80回学術総会
• [Presentation] 髄膜腫に対する術前塞栓術の適応 (2021)
  • Author(s): 外間 洋平, 友利 壮志, 國仲 倫史, 金城 雄生, 小林 繁貴, 長嶺 英樹, 宮城 智央,菅原 健一, 百次 仁, 石内 勝吾
  • Organizer: 日本脳神経外科学会 第80回学術総会
• [Presentation] 尿崩症を主訴に指摘された、鞍上部病変を伴うランゲルハンス組織球症の一例 (2021)
  • Author(s): 長嶺 英樹, 友利 壮志, 國仲 倫史, 金城 雄生, 小林 繁貴, 外間 洋平, 宮城 智央,菅原 健一, 石内 勝吾
  • Organizer: 日本脳神経外科学会 第80回学術総会
• [Presentation] Glioblastomaにおける1H-MR spectroscopyを用いた成分解析 (2021)
  • Author(s): 小林 繁貴, 西村 正彦, 友利 壮志, 國仲 倫史, 金城 雄生, 長嶺 英樹, 外間 洋平,宮城 智央, 菅原 健一, 石内 勝吾
  • Organizer: 日本脳神経外科学会 第80回学術総会
• [Presentation] 1H-MR spectroscopy、血清・髄液検査を用いた術後髄膜腫の経過推定 (2021)
  • Author(s): 國仲 倫史, 友利 壮志, 金城 雄生, 小林 繁貴, 外間 洋平, 長嶺 英樹, 宮城 智央,菅原 健一, 石内 勝吾
  • Organizer: 日本脳神経外科学会 第80回学術総会
• [Presentation] 胚細胞腫瘍9例の検討 (2021)
  • Author(s): 友利 壮志, 國仲 倫史, 小林 繁貴, 金城 雄生, 長嶺 英樹, 外間 洋平, 宮城 智央,菅原 健一, 石内 勝吾
  • Organizer: 日本脳神経外科学会 第80回学術総会
• [Presentation] 遠隔による複数人の参加が可能な脳神経外科手術バーチャルリアリティ・シミュレーションシステム (2020)
  • Author(s): 宮城 智央, 宮里 清隆, 金城 雄生, 小林 繁貴, 上原 卓実, 長嶺 英樹, 外間 洋平, 上 薫, 宇杉 竜一, 片桐 千秋, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 第79回日本脳神経外科学会学術総会
• [Presentation] 脳神経外科手術バーチャルリアリティ・シミュレーションシステムについての実寸大の検証 (2020)
  • Author(s): 宮城 智央, 宮里 清隆, 金城 雄生, 小林 繁貴, 上原 卓実, 長嶺 英樹, 外間 洋平, 上 薫, 宇杉 竜一, 片桐 千秋, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 第30回日本シミュレーション外科学会
• [Presentation] 初発神経膠腫に対する光線力学療法後の再発様式についての検討 (2020)
  • Author(s): 菅原 健一, 金城 雄生, 小林 繁貴, 上原 卓実, 長嶺 英樹, 外間 洋平, 宮城 智央, 石内 勝吾
  • Organizer: 第79回日本脳神経外科学会学術総会
• [Presentation] 髄膜腫術前精査に於けるBrain surface motion imagingの有用性 (2020)
  • Author(s): 長嶺 英樹, 宮里 清隆, 金城 雄生, 小林 繁貴, 上原 卓実, 外間 洋平, 宮城 智央,菅原 健一, 與儀 彰, 石内 勝吾
  • Organizer: 第79回日本脳神経外科学会学術総会
• [Presentation] 小児に発生した髄膜腫の一例 (2020)
  • Author(s): 上原 卓実, 宮里 清隆, 金城 雄生, 小林 繁貴, 長嶺 英樹, 外間 洋平, 宮城 智央,菅原 健一, 石内 勝吾
  • Organizer: 第79回日本脳神経外科学会学術総会
• [Presentation] 1H-MR spectroscopyを用いた放射線治療患者の海馬機能解析 (2020)
  • Author(s): 小林 繁貴, 西村 正彦, 宮里 清隆, 金城 雄生, 上原 卓実, 長嶺 英樹, 外間 洋平,宮城 智央, 菅原 健一, 石内 勝吾
  • Organizer: 第79回日本脳神経外科学会学術総会
• [Presentation] 中頭蓋アプローチにて摘出した真珠腫性中耳炎の一例 (2020)
  • Author(s): 宮里 清隆, 上原 卓実, 金城 雄生, 小林 繁貴, 長嶺 英樹, 外間 洋平, 宮城 智央,菅原 健一, 石内 勝吾
  • Organizer: 第79回日本脳神経外科学会学術総会
• [Presentation] 複数人の参加が可能な脳神経外科バーチャルリアリティ・シミュレーションシステム (2020)
  • Author(s): 宮城 智央, 金城 雄生, 小林繁貴, 上原卓実, 長嶺 英樹, 外間 洋平, 上 薫, 宇杉 竜一, 片桐 千秋, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 第43回日本脳神経CI学会総会
• [Presentation] マルチプレイヤーとネットワーキングによる脳神経外科バーチャルリアリティ・シミュレーションシステム (2019)
  • Author(s): 宮城 智央, 金城 雄生, 小林繁貴, 上原卓実, 長嶺 英樹, 外間 洋平, 上 薫, 宇杉 竜一, 片桐 千秋, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 第29回日本シミュレーション外科学会
• [Presentation] リアルタイム物理変形性脳神経外科バーチャルリアリティ・シミュレーション (2019)
  • Author(s): 宮城 智央, 國仲 倫史, 金城 雄生, 小林 繁貴, 長嶺 英樹, 外間 洋平, 宇杉 竜一, 片桐 千秋, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 第78回日本脳神経外科学会学術総会
• [Presentation] 脳神経外科手術のための物理変形性バーチャルリアリティ・シミュレーション・システムの開発と臨床経験 (2019)
  • Author(s): 宮城 智央, 國仲 倫史, 金城 雄生, 小林 繁貴, 長嶺 英樹, 外間 洋平, 上 薫, 宇杉 竜一, 片桐 千秋, 西村 正彦, 菅原 健一, 高木 博, 石内 勝吾
  • Organizer: 第19回日本VR医学会
• [Presentation] グリオーマに対する光線力学療法 (2019)
  • Author(s): 菅原 健一, 金城 雄生, 上原 卓実, 長嶺 英樹, 外間 洋平, 宮城 智央, 石内 勝吾
  • Organizer: 第78回日本脳神経外科学会学術総会
• [Presentation] 悪性脳腫瘍患者に於けるペランパネルの使用経験 (2019)
  • Author(s): 長嶺 英樹, 金城 雄生, 小林 繁貴, 外間 洋平, 宮城 智央, 菅原 健一, 石内 勝吾
  • Organizer: 第78回日本脳神経外科学会学術総会
• [Presentation] 脳腫瘍摘出術における経頭蓋到達法と経鼻到達法の同時実施の有用性 (2019)
  • Author(s): 外間 洋平, 國仲 倫史, 小林 繁貴, 金城 雄生, 上原 卓実, 長嶺 英樹, 宮城 智央, 菅原 健一, 石内 勝吾, 登坂 雅彦, 上原 貴行, 山下 懐, 鈴木 幹男
  • Organizer: 第78回日本脳神経外科学会学術総会
• [Remarks] データベース型研究者総覧researchmapにおける宮城智央のサイト
  • URL: https://researchmap.jp/tmiyagi/