Constructing virtual on-the-job training platform with tactile sensation for minimally invasive surgery

2021 Fiscal Year Final Research Report

• Project/Area Number: 17H00754
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: Ritsumeikan University
• Principal Investigator: Tnaka Hiromi 立命館大学, 情報理工学部, 教授 (10268154)
• Co-Investigator(Kenkyū-buntansha): 野間 春生 立命館大学, 情報理工学部, 教授 (00374108) ; 島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034) ; 木村 朝子 立命館大学, 情報理工学部, 教授 (20324832) ; 田川 和義 愛知工科大学, 工学部, 教授(移行) (40401319) ; 佐藤 誠 東京都立大学, システムデザイン研究科, 客員教授 (50114872) ; 陳 延偉 立命館大学, 情報理工学部, 教授 (60236841) ; 赤羽 克仁 東京工業大学, 科学技術創成研究院, 助教 (70500007) ; 小森 優 滋賀医科大学, 医学部, 非常勤講師 (80186824) ; 広田 光一 電気通信大学, 大学院情報理工学研究科, 教授 (80273332) ; 平井 慎一 立命館大学, 理工学部, 教授 (90212167)
• Project Period (FY): 2017-04-01 – 2022-03-31
• Keywords: バーチャルリアリティ / ハプティクス / 軟組織シミュレーション / 多指・手掌力触覚提示装置 / 柔軟物インタラクション / 手掌触覚伝達遠隔VR実装訓練

Outline of Final Research Achievements

We have 1) established tactile rate soft tissue deformation, contact judgment, and tactile presentation computation models, 2) constructed a real-time VR simulator of a deformable hand with fingerprints that calculates and presents tactile sensation of touching soft tissue in real time, and 3) developed a high DOF multi-finger force display and a pin-array type high-density tactile display.
4) Modeling the surgical process from the measurement of eye movements and movements during surgery by a skilled doctor, and developing a VR surgery simulation training method by force sense and gaze guidance, and we have 5) developed a VR surgical simulation training method using force and gazing point guidance.
From the VR surgery training experiments in which VR simulators at multiple locations were linked by communication, we demonstrated the possibility of mastering the skills of skilled physicians even in the absence of an instructor and the potential of VR surgical education.

Free Research Field

ヒューマンインタフェース・インタラクション

Academic Significance and Societal Importance of the Research Achievements

術中触診訓練のための指紋を持つ超高精度実時間VR柔軟手指シミュレータと,軟組織操作が可能な多指力触覚提示装置と高密度の手指掌触圧感提示装置を実現し,遠隔で掌触感を共有するVR手術訓練環境を構築し,一熟練医が遠隔地にいる複数研修医の同時手術訓練を実現した.
生体軟組織のような柔軟物に実手で触った触知感を伝送する触覚通信の確立により,世界に先駆けて五感通信実現への途を拓くとともに,従来の対面指導による医学教育訓練に画期的改革をもたらす.その結果,多くの外科医を育成し我が国の深刻な外科医不足問題に貢献すると同時に地域医療と医師の偏在問題解決に貢献する. さらには高度な伝統文化の手技伝承へ可能性を拓く