ロボット支援術中臓器への加圧程度を手術映像のみから判断するAIシステム開発と実装

2022 Fiscal Year Research-status Report

• Project/Area Number: 21K12724
• Research Institution: Kyoto University
• Principal Investigator: 増井 仁彦 京都大学, 医学研究科, 助教 (50882057)
• Co-Investigator(Kenkyū-buntansha): 粂 直人 京都大学, 医学研究科, 特定准教授 (00456881) ; 中尾 恵 京都大学, 情報学研究科, 准教授 (10362526) ; 澤田 篤郎 京都大学, 医学研究科, 講師 (10784796) ; 小川 修 京都大学, 医学研究科, 名誉教授 (90260611)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: ロボット支援手術 / AI / 触覚 / 手術安全

Outline of Annual Research Achievements

ロボット支援手術は以前の非ロボット腹腔鏡手術よりも精緻な操作を可能とした一方,「触覚」を感知できず力も強いことから不慣れな術者の場合術中臓器損傷 に遭遇することがある. しかし非ロボット腹腔鏡手術の術者として経験をつんだ場合, 感知できないはずの「触覚」をロボット手術開始当初から「感じる」とされ, それを「仮想触覚」と表現される.本研究では「ロボット支援手術で発生する臓器への加圧（加力）程度を, 手術時の映像情報のみからAIにより判断し術者へ明示」, すなわち「仮想触覚を明示」し実装することを目的とした. 方法は ①臓器へ加圧（加力）時の経時的臓器変形動画データと, ②過去のヒト手術動画から許容される臓器加圧程度をAIへ学習させそれを基にプログラム構築する予定である.
現在の状況を述べる. 昨年度は3次元応力ベクトル(Fx, Fy, Fz)を出力する畳み込みニューラルネットワーク(CNN)による回帰モデルもちいて「摘出臓器を対象とした単一カメラ画像からの鉗子圧の推定」基礎プログラムを作成した. 今年度は様々な状況での鉗子圧の推定精度を検討し, 精度を左右する動画の「条件」を検討した. これを踏まえてさらなる精度向上が確認できたことから, 現在論文執筆中である.

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の計画通り進んでいる。

Strategy for Future Research Activity

今後は摘出臓器を対象とする研究でさらなる精度向上のプログラム改善を試みながら, 生体臓器を対象とする研究にステップアップを予定している.
具体的には2021年度に施行した動物実験を内容を改訂して行い, 臓器の変形とその際に発生する力の大きさを測定する. 分析は新しく改良したプログラムで行い, 摘出臓器を対象とした場合と生体臓器を対象とした場合の違いを解析, そのうえでプログラムの開発を行う.
過去のヒト手術動画から臓器加圧場面を抽出, ヒト手術で許容される画像上の臓器加圧程度をAIへ学習させる.
以上を通して, 手術の危険操作の定義づけを行う.
これらを予定している.