腹腔鏡下手術におけるAIを用いた自動追尾カメラシステムの開発

2022 Fiscal Year Research-status Report

• Project/Area Number: 21K08667
• Research Institution: Kobe University
• Principal Investigator: 金治 新悟 神戸大学, 医学部附属病院, 講師 (10637052)
• Co-Investigator(Kenkyū-buntansha): 掛地 吉弘 神戸大学, 医学研究科, 教授 (80284488) ; 佐藤 嘉伸 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (70243219) ; 山崎 悠太 神戸大学, 医学部附属病院, 医員 (60817823) ; 工藤 拓也 神戸大学, 医学部附属病院, 医員 (80868646)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 人工知能 / 画像認識 / カメラロボット

Outline of Annual Research Achievements

本研究の目的は，人工知能（AI：Artificial Intelligence）を用いて手術映像中の術具をリアルタイムに認識させ、その術具をカメラ保持ロボットに追尾させることで腹腔鏡手術のカメラ操作を完全に自動化させることである。本研究は省人化によって外科医不足を解消するだけでなく、標的とカメラの至適な距離の自動調整など外科医が行うカメラ操作を超越する機能を有することで手術の質と安全性の向上も期待できる。具体的には、深層学習による物体検出モデルであるYOLOv3を用いて手術映像中の術具を自動認識させ、術具とカメラ先端の3次元位置情報をもとに、術具が至適な条件で撮影されるようにカメラ保持ロボット（SOLO assistII）を操作することで術具の自動追尾を可能とする新しいカメラシステムを開発する。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

手術映像中の術具は多数の種類があり、アノテーション作業が終了していない。また、カメラ保持ロボットが現在使用できない状態であり、手配中である。

Strategy for Future Research Activity

増員によるアノテーション作業の加速。企業と連携し、カメラ保持ロボットを使用することで自動追尾カメラシステム構築にむけての作業の再開する。

Causes of Carryover

COVID-19の影響による販売・製造元の事情で、使用予定機材の購入ができなかったため、未使用額が生じた。今後の研究推進で述べたように今年度の進捗に応じ、次年度使用額を充当しながら適切に研究を進めていく予定である。