腹腔鏡下手術におけるAIを用いた自動追尾カメラシステムの開発

• Project/Area Number: 21K08667
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 55010:General surgery and pediatric surgery-related
• Research Institution: Kobe University
• Principal Investigator: 金治 新悟 神戸大学, 医学部附属病院, 准教授 (10637052)
• Co-Investigator(Kenkyū-buntansha): 掛地 吉弘 神戸大学, 医学研究科, 教授 (80284488) ; 佐藤 嘉伸 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (70243219) ; 山崎 悠太 神戸大学, 医学部附属病院, 医員 (60817823) ; 工藤 拓也 神戸大学, 医学部附属病院, 医員 (80868646)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
• Keywords: 人工知能 / カメラロボット / 画像認識 / 腹腔鏡 / 自動化

Outline of Research at the Start

本研究の目的は、人工知能（ＡＩ：Artificial Intelligence）を用いて手術映像中の術具をリアルタイムに認識させ、その術具をカメラ保持ロボットに追尾させることで腹腔鏡手術のカメラ操作を完全に自動化させることである。本研究は省人化によって外科医不足を解消するだけでなく、標的とカメラの至適な距離の自動調整など外科医が行うカメラ操作を超越する機能を有することで手術の質と安全性の向上も期待できる。さらにカメラ重量が大きく、ズーム機能を多用する8K腹腔鏡に応用することで超高解像度映像の腹腔鏡操作の自動化も可能となる。

Outline of Annual Research Achievements

本研究の目的は，人工知能（AI：Artificial Intelligence）を用いて手術映像中の術具をリアルタイムに認識させ、その術具をカメラ保持ロボットに追尾させることで腹腔鏡手術のカメラ操作を完全に自動化させることである。
本研究は省人化によって外科医不足を解消するだけでなく、標的とカメラの至適な距離の自動調整など外科医が行うカメラ操作を超越する機能を有することで手術の質と安全性の向上も期待できる。具体的には、深層学習による物体検出モデルであるYOLOv3を用いて手術映像中の術具を自動認識させ、術具とカメラ先端の3次元位置情報をもとに、術具が至適な条件で撮影されるようにカメラ保持ロボット（SOLOassistII）を操作することで術具の自動追尾を可能とする新しいカメラシステムを開発する。
実際に手術で使用している様々な手術デバイスを手術画像から自動認識するようにアノテーション作業を行った。最終年度には8K腹腔鏡システムの映像から自動画像認識システムによってカメラ保持ロボットが対象を自動追尾するように基礎実験を行う予定であったが、8Kカメラシステムの調達が困難であり、通常の2Kカメラシステムで代用して実験を行うことととした。研究期間は終了したが、引き続き8K腹腔鏡システムの映像から自動画像認識システムによってカメラ保持ロボットが自動操作できるようにシステム開発を継続する予定である。

Research Products

• [Journal Article] Evaluation of the Efficiency of a Joystick-Guided Robotic Scope Holder Compared to That of Human Scopists: A Prospective Trial (2023)
  • Author(s): Kudo T, Kanaji S, Harada H, Ohmura Y, Sawada R, Urakawa N, Goto H, Hasegawa H, Yamashita K, Matsuda T, Oshikiri T, Kakeji Y
  • Journal Title: Surg Innov Volume: 30 Issue: 5 Pages: 564-570
  • DOI: 10.1177/15533506231157039
  • Peer Reviewed