2023 Fiscal Year Annual Research Report
Development of surgical navigation system for esophageal atresia / tracheoesophageal fistula using AI Image analysis and forceps location information
| Project/Area Number |
22H03703
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
内田 広夫 名古屋大学, 医学系研究科, 教授 (40275699)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
出家 亨一 埼玉県立小児医療センター (臨床研究部), 外科, 医長 (00845109)
森 健策 名古屋大学, 情報学研究科, 教授 (10293664)
城田 千代栄 名古屋大学, 医学部附属病院, 講師 (20378194)
牧田 智 名古屋大学, 医学部附属病院, 病院助教 (20718415)
田井中 貴久 名古屋大学, 医学部附属病院, 病院講師 (30378195)
小田 昌宏 名古屋大学, 情報連携推進本部, 准教授 (30554810)
藤原 道隆 名古屋大学, 医学部附属病院, 病院教授 (70378222)
住田 亙 名古屋大学, 医学部附属病院, 病院講師 (70437044)
檜 顕成 名古屋大学, 医学系研究科, 特任教授 (90383257)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 食道閉鎖症 / ナビゲーション / 手術 / 胸腔鏡 / AI画像解析 / 鉗子 / アノテーション |
|---|
| Outline of Annual Research Achievements |
胸腔鏡下食道閉鎖症手術は1つの視野に特徴的な解剖構造が集中し、更に狭い術野で手術が行われるため、AI画像解析による解剖構造の表示機能を備えた手術ナビゲーションシステムとの相性は良い。小児外科専門医が手術のメルクマールとなる解剖構造（迷走神経、気管食道瘻、上部食道盲端、下部食道盲端）のアノテーション・評価画像の正解ラベル付与を行っている。食道閉鎖症15症例を用いてそれぞれの解剖構造物に対して、全部で10,000画像のアノテーションを行った。解剖構造表示機能のIoU:0.6と、ある程度正確に動画上で構造物を同定できるようになった。さらに迷走神経を正確にナビゲーションすることで、手術を安全に遂行するためにもっとも重要な気管食道瘻をしっかりと示すことができることがはっきりした。鉗子検出および剥離操作評価方法はYOLO v3による鉗子領域の認識を中心に行った。鉗子先端のアノテーションを10000画像行い、YOLOの学習と評価は４-fold cross validation（7500画像で学習、2500画像で評価）で検証した。縫合操作に関しては、今までのアルゴリズムから熟練度を評価しただけではなく、新しい評価方法（Global operative assessment of laparoscopic skills (GOALS)オリジナル修正版）を試み、AIによる評価も新たに行った。この評価により今まで行っていた人の目による手術手技評価項目をおよそ1/5に減らしても同等の評価ができることがわかった。すなわちAIによる評価を行うことで、より重要な評価項目が明らかになった。食道閉鎖症の手術操作で特有な愛護的操作である下部食道の剥離操作の評価システムを構築するためのデータは完成したが、上手さの評価は非常に難解で試行錯誤を繰り返している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
食道閉鎖症手術のメルクマールとなる解剖構造（迷走神経、気管食道瘻、上部食道盲端、下部食道盲端）のアノテーション・評価画像の正解ラベル付与を行っている。食道閉鎖症15症例を用いてそれぞれの解剖構造物に対して、10,000画像以上のアノテーションを行った。AIによる解剖構造表示機能はIoU:0.6とある程度正確に動画上で構造物をナビゲーションできた。迷走神経を正確にナビゲーションすることで、手術を安全に遂行するためにもっとも重要な気管食道瘻をしっかりと示すことができた。鉗子検出および剥離操作評価は、YOLO v3による鉗子領域の認識と動きの評価で行った。鉗子先端のアノテーションを10000画像行い、YOLOの学習と評価は４-fold cross validation（7500画像で学習、2500画像で評価）で検証した。アノテーションを修正することで精度は上昇し、鉗子の動きを捉えることができるようになった。縫合操作に関しては、今までのアルゴリズムから熟練度を評価しただけではなく、新しい評価方法（Global operative assessment of laparoscopic skills (GOALS)オリジナル修正版）を試み、AIによる評価も新たに行った。AIによる評価を行うことで、今まで行っていた人の目による手術手技評価項目を50項目から7項目に減らしても正確に評価できることがわかった。すなわちAIによる評価が加わることで、より重要な評価項目を明らかにすることができた。食道閉鎖症の手術操作で特有な愛護的操作である下部食道の剥離操作の評価システムを構築するためのデータは完成したが、上手さの評価は非常に難解で試行錯誤を繰り返している。上記よりかなり順調に研究は進んでいると考えられる。
|
| Strategy for Future Research Activity |
食道閉鎖症手術ナビゲーションシステムを、より正確に、より有用なものとする。同時に手術手技の定量的評価と手術の上手さの言語化を実現する。本研究開発では①手術のメルクマールとして術中にナビゲーションする解剖構造（迷走神経、奇静脈、気管食道瘻、上部食道盲端、下部食道盲端）の位置検証と同時にその有用性を明らかにする。そのために、手術動画上で解剖構造の認識の正確さ、速さを、AIと熟練した小児外科医、小児外科専門医、初学者で比較検討して、ナビゲーションの有用性を明らかにする。②申請者の確立してきた結紮縫合評価システムをより優れた評価システムとするためにGOALS修正版も活用する。それらから、手術手技定量的評価と手術の上手さの言語化を実現する。さらに③AI画像解析と鉗子の位置情報を解析する手法による食道閉鎖症手術に特有な下部食道への愛護的操作を評価するシステムを確立する。
動画上でナビゲーションシステムが有効に機能することを確認し、ナビゲーションシステムとしての実用化を目指す。そのシステムに縫合操作の評価を追加して、より実用性のあるナビゲーションシステムを完成させる。現在までに術中ナビゲーションに必要な解剖構造物のアノテーションを10000枚以上行ってきたが、本年度中に多くの構造物に関してさらにアノテーションを加え、より多くの構造物をIoU:0.7以上を目標として正確にナビゲーションができるようにする。鉗子のアノテーションは10000枚行い、AIによる縫合技術の評価が可能となったため、手技を施行中に評価点を出せるようなシステムを完成させる。剥離などの操作に関しては、鉗子の動きだけでは評価が難しいため、解剖構造物との位置関係、力関係をAI画像解析できるように試みているが、さらなる工夫が必要であるため、GOALS修正版を参考に解析を進める。
|
-
[Presentation] 当科におけるロボット支援下胆管切除術の導入経験2023
Author(s)
牧田智,内田広夫,住田亙,檜顕成,城田千代栄,田井中貴久,滝本愛太朗,高田瞬也,中川洋一,前田拓也,劉佳慧
Organizer
第60回日本小児外科学会学術集会
-
[Presentation] 肝門部再採掘術の意義についての検討ー開腹と腹腔鏡との比較も含めて2023
Author(s)
田井中貴久,城田千代栄,住田亙,牧田智,天野日出,滝本愛太朗,高田瞬也,中川洋一,合田陽祐,檜顕成,内田広夫
Organizer
第60回日本小児外科学会学術集会
-
-
[Presentation] In surgical suturing of a hepaticojejunostomy for congenital biliary dilatation, the robot-assisted surgery is more stable and faster than the laparoscopic surgery2023
Author(s)
Jiahui Liu,Akinari Hinoki,Chiyoe Shirota,Takahisa Tainaka,Wataru Sumida,Satoshi Makita,Shunya Takada,Yoichi Nakagawa,Yaohui Guo, Hiroo Uchida
Organizer
第60回日本小児外科学会学術集会
-
-
-
-
-
[Presentation] Laparoscopic versus robotic-assisted choledochal cyst excision and hepaticojejunostomy: a single surgeon’s experience2023
Author(s)
Uchida H,Makita S,Shirota C,Tainaka T,Sumida W,Takimoto A,Takada S,Nakagawa Y,Maeda T,Ogata S,Gohda Y,Hinoki A
Organizer
32nd International Pediatric Endosurgery Group Annual Congress
Int'l Joint Research
-
