Development of a surgical training system using XR and Metaverse to enhance medical, nursing, and engineering collaboration in robotic surgery
| Project/Area Number |
22K21094
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
0908:Society medicine, nursing, and related fields
|
|---|
| Research Institution | Teikyo University |
|---|
Principal Investigator |
末吉 巧弥 帝京大学, 付置研究所, 助教 (00957847)
|
|---|
| Project Period (FY) |
2022-08-31 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | メタバース / ロボット手術 / XR / 空間的追体験 |
|---|
| Outline of Research at the Start |
ロボット手術運用の効率化における、外科医、看護師、臨床工学技士など医療スタッフの暗黙知を形式知化し、安全で正確、効率的なロボット習熟システムを確立させる。
そのために、XR・メタバース技術を活用し、実臨床の患者の3D医用画像情報と外科医の手術手技と看護師・臨床工学技士の機器操作を3Dスキャンし、3Dデータとアバター(分身)にてメタバース空間で再現する。遠隔から複数人同時に学習、追体験、評価ができるメタバース(超次元空間)システムを開発する。
以上により、ロボット手術の手技習熟、機器設営、チーム連携を効率化し、安全で正確なロボット手術運用の普及を目指す。
|
| Outline of Annual Research Achievements |
本研究は、安全で正確なロボット手術の普及を目的として、手術環境の効率化、快適性向上を目指し、XR技術とメタバース空間を利用して手技の空間動作を追体験できるマルチモーダル画像支援3D内視鏡手術トレーニングシステムを開発した。これは、過去の立体手術映像と患者のCT画像から抽出した3Dポリゴンデータを重ねて手術手技・手順を確認できる教育コンテンツであり、患者の臓器解剖を理解しながら、鉗子の動きを追体験することができる。これにより、医療従事者の空間認識の向上と、他のロボット手術や内視鏡手術における誤認識の回避に貢献する可能性が示唆された。この成果を、4つの海外学会（iSMIT, UEGW, ELSA, EAES）, 3つの国内学会（ITヘルスケア学会、日本コンピュータ外科学会、日本内視鏡外科学会）および6つの論文を学術誌にて発表した。そのうち、UEGW（欧州消化器病週間国際会議）にて学会賞（Travel grant award）を受賞した。
しかし、遠隔からの複数人同時学習機能の実装および検証には予想以上の時間がかかり、手術環境の効率化や快適性向上を証明できる成果が得られず、本来2年間で終了予定の本研究は、次年度への延長が決まった。安全で正確なロボット手術の普及に向け、最新のソフトウェア・ハードウェアのアップデート情報や最新デバイスのUI・UXを本研究に導入し、複数人での接続検証に向け有効性を評価し、その成果を論文や学会発表で報告する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
遠隔からの複数人同時学習機能の実装および検証に、技術上の問題点により予想以上の時間がかかり、完全な実装には至らなかった。また、検証を予定していた病院からの協力が困難となり、人員確保ができず、複数人数での検証ができなかった。この研究計画の遅延に対し、次年度も計画を継続していく。
|
| Strategy for Future Research Activity |
難航した遠隔からの複数人同時学習機能の実装および検証は、最新のソフトウェア・ハードウェアのアップデート情報や最新デバイスのUI・UXを本研究に導入し、本システムの性能向上を図る予定である。また、研究協力を得られる施設を探し、本研究の有効性を評価し、研究全体を推進する予定である。
|
Report
(2 results)
Research Products
(29 results)
