2024 Fiscal Year Annual Research Report
Elucidation of the "eye" for safe endoscopic surgery and construction of a foundation for the technological application
| Project/Area Number |
22K08720
|
| Research Institution | Keio University |
Principal Investigator |
三原 規奨 慶應義塾大学, 医学部(信濃町), 共同研究員 (80464957)
|
| Co-Investigator(Kenkyū-buntansha) |
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
田中 真之 慶應義塾大学, 医学部(信濃町), 助教 (30573414)
植村 宗則 神戸大学, 医学研究科, 非常勤講師 (50636157)
北郷 実 慶應義塾大学, 医学部(信濃町), 准教授 (70296599)
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
川平 洋 自治医科大学, 医学部, 教授 (90447285)
|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 内視鏡外科 / スコピスト / 腹腔鏡下胆嚢摘出術 / AI / Visual odometry (VO) |
| Outline of Annual Research Achievements |
内視鏡外科手術において、視認のための内視鏡カメラを操作するスコピストは、術者の目として大切な役割を果たす。本研究では、「手術の安全性を担保する最適なカメラワークとは何か」を解明するため、経験豊富なスコピストの持つ手(操作技術)と頭(操作予測)を解析し、暗黙知の可視化を試る。操作技術の解析として、カメラ先端の実際の動きを手術動画からVisual SLAMを用いて推定することを試みた。また、操作予測の解析として、手術中の術者の視線を解析することでカメラ操作の予測を行うことを試みた。 Visual SLAMによる研究では、連続する2枚のフレームの位置合わせを行う平面射影変換行列を用いて2フレーム間の相対姿勢の回転成分を逐次的に算出することで腹腔鏡の回転を推定した。本方法では、VSLAMを用いた際に起こり得るトラッキング失敗により回転推定ができない時間の発生という問題を回避し、手術全体を通して常に回転の推定を続けることが可能となった。 術者の視野推定の研究では、機械学習を用いて、内視鏡外科手術における術者の注視点を予測できるかを検証した。まず、手術工程と手術器具のアノテーションが付与された腹腔鏡下胆嚢摘出術動画(Cholec80)を用いてデータセットの作成を行ない、Cholec80内の動画を閲覧する外科医の注視点をアイトラッカー(Tobii Pro nano)を用いて計測した。次に、測定データを用いて機械学習を行い、映像中の注視点を予測するモデルを作成した。最後に、注視点予測の精度を検証するため、学習に使用していない胆嚢摘出動画を用いて注視予測点と実測注視点の距離を動画内で計測し誤差として評価した。実測注視点と予測注視点間の距離は,250 x 250の正方形モニターを基準として,37.15であった。
|