• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Augmented Reality Surgical Simulator

Research Project

Project/Area Number 19K09100
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 55010:General surgery and pediatric surgery-related
Research InstitutionFukushima Medical University

Principal Investigator

木村 隆  福島県立医科大学, 医学部, 教授 (00381369)

Co-Investigator(Kenkyū-buntansha) 佐瀬 善一郎  福島県立医科大学, 医学部, 准教授 (10468126)
斎藤 拓朗  福島県立医科大学, 医学部, 教授 (20305361)
丸橋 繁  福島県立医科大学, 医学部, 教授 (20362725)
見城 明  福島県立医科大学, 医学部, 教授 (40305355)
Project Period (FY) 2019-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords手術トレーニング / 拡張現実 / シミュレーター / 拡張現実(AR) / シミュレーション / 手術訓練 / 外科医学教育 / 拡張現実(AR) / 手術手技 / 医療安全
Outline of Research at the Start

本研究では高度な手術手技の訓練を行うための人体解剖が忠実された手術訓練用シミュレーターを拡張現実(AR)技術の応用によって作成する。AR技術の応用で既存のシミュレーション技術を統合することによって、倫理面に配慮した、製造コスト、ランニングコストが抑えられ、かつアクセスしやすいシミュレーターを開発する。このシミュレーターは外科医の手術訓練環境の改善を通して安全な外科医療の提供に寄与できるとともに、off-the jobトレーニングの充実を通して充足率の低い外科医の招聘にも役立つものと予想される。

Outline of Annual Research Achievements

本研究では、拡張現実(Augmented Reality/AR)を応用した手術手技訓練用のシミュレーターの開発を目標に研究を進めてきました。現在までに下記の研究結果が得られました。
1.一般的な医療用画像の保存形式であるDICOMデータを利用して、CADで利用されるSTL形式の臓器のサーフェースデータを作成するための環境を独自に開発しました。Pythonスクリプトを利用して造影CTなどの画像をオープンソースのCADソフトウエアであるBlender内に位置情報を再現しながら配置することができるようになりました。更にプログラミンによってこの操作を短時間で行うことが可能になりました。この作業環境では目的の臓器を画像データを参考に手動で作成することが可能となり、現在の技術では自動抽出が困難な臓器のサーフェースデータを作成することが可能になりました。
2.近隣の企業との共同研究によって手術用シミュレーターの多様な作成方法を確立することができました。原料として段ボールや紙(張り子)を利用することで安価に作成する技術や、金属製の台座を利用することで耐久性と汎用性の高い手術トレーニングのための環境を作ることができました。この技術は人工心臓装着訓練のためのシミュレーターの作成などにも応用されました。
3.1の技術が確立されたことによって、腹腔内のほぼすべて臓器のVR用コンテンツを作成することが可能となりました。また、2の技術によってVR画像を空間座標を再現した形で投影することが可能となりARコンテンツを開発することができました。
4.当初ウエアラブルディスプレイとARを応用した手術トレーニングシステムの作成を進めてきましたが、既存のデバイスでは視線の方向や距離が手術訓練には適さないことが判明したため、タブレット機器を利用したARの鏡視下手術用シミュレーターを試作しました。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は上記の4項目について下記のような進捗がありました。
1.小児外科の症例など希少な手術に対応できるように多様な体格の症例のデータセットの構築を進めました。
2.鏡視下手術の際の鉗子の動作を再現できるシステムなどを作成し、より現実の手術に近い環境で手術のトレーニング行えるようになりました。
3.ARを投影する際の座標、大きさの調整を精緻に行うことによって手術環境をより忠実に再現することができました。
4.空間座標を再現することができる金属製の台座を考案することによって、VRでシミュレーションした手術環境を、実物(3Dプリンター等で作成)とVRを融合したARシミュレーターとして短期間で作成することが可能となりました。また、手術に必要な部分のみを最小限に実物として作成し、その他部分をVRで補うことによって手術環境を忠実に再現しつつ、コストを抑えたシミュレーション環境の構築に取り組んでいます。一方でARのVR画像が最前面に投影されてしまうために実物の動作をうまく確認できないという問題が明らかになりました。

Strategy for Future Research Activity

1.手術件数が少なく、かつ難易度が高い手術を中心に訓練のニーズを抽出しトレーニング環境を構築します。(腹腔鏡下の肝胆膵外科手術、腹腔鏡下の小児外科手術等の訓練用シミュレーターの開発を行います。)
2.若手外科医が経験することが多い低難易度手術用のシミュレーターを開発します。(汎用性が高く、パーツを組み合わせることで広い範囲に応用ができ、更にARによって手術環境を忠実に再現できるシミュレーション環境を構築します。)
3.引き続き多様な症例での臓器データセットの構築を進めます。
4.ARでVRが常に手前に投影される問題について、コンピューターサイエンスの研究室(他大学)との共同研究を計画しています。

Report

(5 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (7 results)

All 2023 2022 2021 2020 2019

All Presentation (7 results) (of which Invited: 1 results)

  • [Presentation] 手術訓練、外科医学教育のための外科医自身が編集可能な3Dデジタルコンテンツの開発2023

    • Author(s)
      木村 隆
    • Organizer
      第78回日本消化器外科外科学会
    • Related Report
      2023 Research-status Report
  • [Presentation] Development of 3D Simulation Technology in Pancreatic Surgery2023

    • Author(s)
      木村 隆
    • Organizer
      第35回日本肝胆膵外科学会総会学術集会
    • Related Report
      2023 Research-status Report
  • [Presentation] Creating the foundation for a simulation training environment using digital data in the field of hepatobiliary and pancreatic surgery2022

    • Author(s)
      木村 隆
    • Organizer
      日本肝胆膵外科学会
    • Related Report
      2022 Research-status Report
  • [Presentation] 外科医学教育の現状と課題2021

    • Author(s)
      木村 隆
    • Organizer
      福島県医療福祉機器産業協議会
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] テーラーメイドなシミュレーターづくりのための基盤整備2021

    • Author(s)
      木村 隆
    • Organizer
      第18回東北シミュレーション医学教育研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] GeneralityとSpecialtyのバランスがとれた外科専門医の育成をめざして2020

    • Author(s)
      木村 隆
    • Organizer
      第120回 日本外科学会定期学術総会
    • Related Report
      2020 Research-status Report
  • [Presentation] A simple and Low-cost Surgery Training Simulator for Pancreaticojejunostomy2019

    • Author(s)
      木村 隆
    • Organizer
      第31回日本肝胆膵外科学会・学術集会
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi