Development and application of mixed reality integration of medical information and sensory integration technology for remote medical practice

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K09095
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 56010:Neurosurgery-related
• Research Institution: The University of Tokyo
• Principal Investigator: Kin Taichi 東京大学, 医学部附属病院, 特任准教授 (90447392)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 3DCG / 手術シミュレーション / オンライン医学実習

Outline of Final Research Achievements

I developed a method for integrating virtual space with real space using our original mixed reality technology and a haptic information-assisted surgery simulator. Evaluation of the completed our development simulator was conducted. Evaluation criteria included task completion time, degree of completion, injury score, and number of advice instances. The development simulator was found to provide practical educational effects comparable to 3D print models. In subjective evaluations, a significant correlation was observed between haptic information and audiovisual information. Regarding the learning environment, the proposed system significantly outperformed lectures. Regarding learning effectiveness, it was non-inferior to 3D print models. Thus, it was possible to demonstrate the medical educational utility of the development simulator. Research results were disseminated through paper presentations and conference presentations.

Free Research Field

脳神経外科

Academic Significance and Societal Importance of the Research Achievements

本研究では、汎用計算機を用いたウェブブラウザ上でのオンライン医学実習を可能にさせるシステムを開発した。特にオンライン上での再現が困難とされていた生体組織に対する触覚情報を視聴覚情報に置換することに成功した。これは先行研究にはない顕著な成果であった。また、提案手法は手術教育において、参考書を用いた医学講義よりもほとんどの点で有意に優れており、3Dプリントモデルを用いた手術実習に対しても非劣性であった。以上の成果をもって、これまで対面実習には及ばないとされていたオンライン医学実習を大きく飛躍させる可能性を有する研究であったといえる。