Development of surgical navigation system for esophageal atresia / tracheoesophageal fistula using AI Image analysis and forceps location information

2022 Fiscal Year Annual Research Report

• Project/Area Number: 22H03703
• Allocation Type: Single-year Grants
• Research Institution: Nagoya University
• Principal Investigator: 内田 広夫 名古屋大学, 医学系研究科, 教授 (40275699)
• Co-Investigator(Kenkyū-buntansha): 出家 亨一 埼玉県立小児医療センター (臨床研究部), 外科, 医長 (00845109) ; 森 健策 名古屋大学, 情報学研究科, 教授 (10293664) ; 城田 千代栄 名古屋大学, 医学部附属病院, 講師 (20378194) ; 牧田 智 名古屋大学, 医学部附属病院, 病院助教 (20718415) ; 田井中 貴久 名古屋大学, 医学部附属病院, 病院講師 (30378195) ; 小田 昌宏 名古屋大学, 情報連携推進本部, 准教授 (30554810) ; 住田 亙 名古屋大学, 医学部附属病院, 病院講師 (70437044) ; 檜 顕成 名古屋大学, 医学系研究科, 特任教授 (90383257) ; 藤原 道隆 名古屋大学, 医学部附属病院, 病院教授 (70378222)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: ナビゲーション / 食道閉鎖症 / 手術 / AI画像解析 / 鉗子 / アノテーション

Outline of Annual Research Achievements

胸腔鏡下食道閉鎖症手術は1つの視野にメルクマールとなると特徴的な解剖構造が集中し、更に術野を固定したままの状態で手術が行われるため、AI画像解析による解剖構造の表示機能を備えた手術ナビゲーションシステムとの相性は良い。解剖構造表示機能においては、指標として、各解剖構造（迷走神経、奇静脈、気管食道瘻、上部食道盲端、下部食道盲端）の見え方（アビアランス）、位置、サイズなどを利用するが、小児外科専門医が手術のメルクマールとなる解剖構造（迷走神経、奇静脈、気管食道瘻、上部食道盲端、下部食道盲端）のアノテーション・評価画像の正解ラベル付与を行う。食道閉鎖症5症例を用いてそれぞれの解剖構造物に対して、全部で2,000画像のアノテーションを行った。解剖構造表示機能のIoU:0.5とそれほど良くないがかなり構造物を予想できることがわかった。鉗子検出および剥離操作評価方法はYOLO v3による鉗子領域の認識を中心に、鉗子先端のアノテーションを10000画像行い、YOLOの学習と評価は４-fold cross validation（7500画像で学習、2500画像で評価）で検証した。精度はIoU:0.６程度であるが、動きをある程度捉えることができるようになった。縫合操作に関しては、今までのアルゴリズムからある程度熟練度を評価できると考えられた。小児外科の手術操作で特有な愛護的操作である下部食道の剥離操作（no-touch technique of lower esophagus）の評価システムを構築するための基礎的なデータは完成した。鉗子認識をより正確に行うことで、より正確な動きの解析を行うように改良している。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

解剖構造表示機能においては、指標として、各解剖構造（迷走神経、奇静脈、気管食道瘻、上部食道盲端、下部食道盲端）を利用するが、小児外科専門医が手術のメルクマールとなる解剖構造（迷走神経、奇静脈、気管食道瘻、上部食道盲端、下部食道盲端）のアノテーション・評価画像の正解ラベル付与を行った。食道閉鎖症5症例を用いてそれぞれの解剖構造物に対して、全部で2,000画像のアノテーションを行った。解剖構造表示機能のIoU:0.5とそれほど良くはないがかなり構造物を予想できることがわかった。IoU:0.5であれば、構造物をおおよそ言い当てることができた。鉗子検出および剥離操作評価方法はYOLO v3による鉗子領域の認識を中心に、鉗子先端のアノテーションを10000画像行い、YOLOの学習と評価は４-fold cross validation（7500画像で学習、2500画像で評価）で検証した。精度はIoU:0.６程度であるが、動きをある程度捉えることができるようになった。縫合操作に関しては、今までのアルゴリズムからある程度熟練度を評価できると考えられたが、まだ検証中である。小児外科の手術操作で特有な愛護的操作である下部食道の剥離操作（no-touch technique of lower esophagus）の評価システムを構築するための基礎的なデータは完成した。鉗子認識をより正確に行うことで、より正確な動きの解析を行うように改良している。

Strategy for Future Research Activity

小児外科内視鏡外科手術の定量的評価と手術手技の伝承を意図した手術ナビゲーションシステムのさらなる構築を目指す。本研究開発では①AI画像解析と鉗子の位置情報を解析する手法による食道閉鎖症手術に特有な下部食道への愛護的操作を評価するシステムの確立②手術のメルクマールとして術中にナビゲーションする解剖構造（迷走神経、奇静脈、気管食道瘻、上部食道盲端、下部食道盲端）の位置検証③申請者の確立してきた結紮縫合評価システムに①剥離操作評価システム②解剖構造表示システムを追加したうえで実際の内視鏡外科手術に実装し、ナビゲーションシステムとしての実用化を目指している。現在までに術中ナビゲーションに必要な解剖構造物のアノテーションが2000枚と少ないので、令和５年度中には10000枚以上行い、正確にナビゲーションができるようにする。IoU:0.7を目標として、枚数を増やしそれぞれの臓器に対してアノテーションを10000枚以上行う必要があると考えている。鉗子のアノテーションは10000枚行ったので、IoUの評価を正確に行う。0.7程度の一致度が得られれば、縫合技術の評価を今までのAI画像解析を用いて評価し、点数化できるようにする。まずはビデオから評価できるように完成させ、最終的には実際に行っている際に評価できるようなシステムとする。剥離などの操作に関しては、鉗子の動きだけでは評価が難しいため、解剖構造物との位置関係、力関係をAI画像解析できるように新たな評価基準をさらに作成する必要がある。愛護的操作とは組織を力強く把持したりしないことなので、鉗子の把持、臓器の歪み、変形などを評価する必要がある。