AI-based system for training surgical skills of minimally invasive surgery

2021 Fiscal Year Final Research Report

• Project/Area Number: 19H04139
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Okayama University (2020-2021); Kyushu University (2019)
• Principal Investigator: Morooka Ken'ichi 岡山大学, 自然科学学域, 教授 (80323806)
• Co-Investigator(Kenkyū-buntansha): 大内田 研宙 九州大学, 大学病院, 講師 (20452708) ; 宮内 翔子 九州大学, システム情報科学研究院, 助教 (40828555) ; 倉爪 亮 九州大学, システム情報科学研究院, 教授 (70272672) ; 河村 晃宏 九州大学, システム情報科学研究院, 助教 (60706555)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 低侵襲手術 / 手術手技訓練システム / 実時間有限要素解析

Outline of Final Research Achievements

We studied an AI-based support system for training surgical skills for minimally invasive surgery (MIS). There are fundamental techniques to construct the support system. Among them, we developed two main techniques: one is the technique for efficiently and reliably constructing multiphysics DeepFEM which estimates the deformation of soft tissues. The other is the DNN-based system for detecting the regions of surgical instruments in surgical images, and identifying its classes.

Free Research Field

画像情報処理

Academic Significance and Societal Importance of the Research Achievements

内視鏡手術の基礎技術の訓練システムは確立しつつあるが，応用技術を訓練・評価する枠組みは未だにない．これに対し，本研究では，我々が有する実時間有限要素解析と，人工知能を組み合わせ，術中内視鏡画像から手術中の外科医の手術手技と，それに伴う人体組織の振舞いを精緻に推定する手法を開発する．これにより，術中の術具の動きと，それに伴う患者指向臓器・組織の形状変形を再現でき，それを用いて応用技術を訓練・評価する次世代の低侵襲手術手技訓練システムが構築できる．このシステムにより，術中と同様の判断や手術手技の訓練を術前に行え，低侵襲手術の安全・正確性の飛躍的な向上に寄与できる．