2023 Fiscal Year Research-status Report

Research and development of a virtual cardiopulmonary bypass/ECMO simulator using MR (Mixed Reality)

Research Project

Project/Area Number	23K15535
Research Institution	Hirosaki University
Principal Investigator	小渡亮介弘前大学, 医学部附属病院, 講師 (20792477)
Project Period (FY)	2023-04-01 – 2026-03-31
Keywords	人工心肺 / AR / VR / トレーニング / シミュレーション
Outline of Annual Research Achievements	2023年度はAR、VR作成会社の、株式会社プロシーズ、ハニカムラボと共同研究開発を行うこととなった。使用する人工心肺の製造元である泉工株式会社から人工心肺のCADデータを提供してもらい、AR作成担当者と共に人工心肺の構造を確認し、そのうえでARソフト内にどこまでのデータを取り込むか検討を繰り返した。また、ソフト内での操作を実際に近い形で行うのか、それとも簡便に空間内にボタンなどを表示して操作を行うかなど各パーツごとに検討した。(我々がARに関する知識が乏しいこと、またAR担当企業は人工心肺に関する知識が無いためこの作業に最もすり合わせの回数や時間を要した）また、臨床工学技士の協力を得て、人工心肺シミュレーターPIT(株式会社JMS）と人工心肺を接続し、人工心肺の動作確認を実際に行い、オープンソースの心臓手術映像と併せてシミュレーションを繰り返した。全体が見渡せる固定カメラに加え、人工心肺を操作している技師の目線から見た映像も撮影した。人工心肺を操作する上で術者との会話もあるため、技師、術者が行う作業内容や、両者が発する言葉を文字起こしし、ARソフト内におけるストーリー分岐点を文字起こししたストーリーに合わせて多数設定した。現在はCADデータのうち、(容量の関係で)必要な部品のみを抽出し、ストーリーの分岐を入れている段階であり、まずは大動脈弁置換術に関して人工心肺の開始、確立、離脱に関してAR内でシミュレーションを再現できるようソフト開発を進めている段階である。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 2023年度は協力企業の決定からストーリー作成、シミュレーションの分岐点作成に時間を要したが、これはARシミュレーターを作成する上で最も重要で時間がかかる部分であり、想定の範囲内ではあった。本研究を進めていく上で最大の問題点は上記で述べた通り、人工心肺関連の専門家はARなどの知識に乏しく、またAR作成のスペシャリストは人工心肺に関する知識が無いことである。遠隔ミーティングだけでなく、実際の人工心肺シミュレーターの見学や操作、また学会などで出している教材など様々な手段を用いて、両者のイメージのギャップを埋めていく必要があった。これは今後の類似研究開発が行われるうえでも問題となることが予想されるため、医療現場に関するARシミュレーションを継続的に作成する企業や専門家が今後必要となると考えられた。2023年度に関してはそのような苦労はあったものの、大きく予定が遅れてしまうことは無かったと考えている。
Strategy for Future Research Activity	今後プロトタイプのシミュレーターが完成したら、ストーリーや分岐点の微調整を行いつつ実際に心臓外科医、臨床工学技士にソフトを体験してもらい、教育効果に関して評価、検討を行う。教育効果に関しては国内学会で発表の上、論文化を行う。また、フィードバックを得たらストーリや分岐点の変更、追加等を行っていく。ある程度のフィードバックが得られたら、他の術式に関するシミュレーションと、2023年度に作成した大動脈弁置換術にトラブルシューティングに関するシミュレーションも追加作成し、ソフトとして完成をさせる。エクモに関してはまた新たにCADデータを取得し、AR人工心肺シミュレーターと同様にストーリ作成を行う。エクモの場合は人工心肺よりも装置、操作は簡便であることからまずは人工心肺シミュレーターの品質向上を優先する。 AR等は日々進化しており、当初想定していたデバイス（HoloLens）よりもさらにシミュレーションに適したデバイスが出てきているため、複数のデバイスでのシミュレーションを行い、もっとも簡便にトレーニングが行えるデバイスを決定する予定である。
Causes of Carryover	共同研究開発を行っているため、ストーリーやシミュレーション方法の決定を2023年度行ったが、成果物であるソフトそのものは現在作成中であることから、製作費の2023年度支払い分は成果物ができてから行うこととしたため、次年度へ繰り越しとなった。全体の予算執行としては特に大きな変更はない。