CTと術中動画を用いた膵上縁リンパ節郭清シミュレーションモデルの開発

2022 Fiscal Year Research-status Report

• Project/Area Number: 19K18151
• Research Institution: Kobe University
• Principal Investigator: 山崎 悠太 神戸大学, 医学研究科, 医学研究員 (60817823)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: 腹腔鏡下胃切除術 / 膵上縁リンパ節郭清 / ディープラーニング / 物体検出

Outline of Annual Research Achievements

2021年度は前年度に引き続いて、①CT画像からの臓器血管3D構築モデルの創出、②手術動画中の鉗子自動認識システムの開発とそれを用いた臨床研究、③物体検出モデルを用いた鉗子動作のトラッキング、④物体検出モデルを用いた臓器血管の自動認識、を行った。①については、3Dプリンタを用いてCT画像から症例ごとの臓器血管モデルを作成するため、3Dプリンタうを導入しモデルの作成を試みた。②については、YOLOv3を用いて作成した腹腔鏡下胃切除術中の手術器具自動認識システムを、データセットを充実させることで更に多種類の器具・シーンに対応させ、胃切除術中の幽門下リンパ節郭清・膵上縁リンパ節郭清中の術具使用状況を術者技術レベルごとに比較し、その特徴を明らかにした。消化器外科領域において、AIを用いてデータを採取したほぼ最初の臨床研究として、Journal of
Gastrointestinal Surgeryにてpublishされた。③については、3D内視鏡画像からの臓器・鉗子位置情報の抽出を目的として、drybox内で鉗子を操作し、同drybox内にパラレルに配置したカメラで撮影した映像中からYOLOv3によって認識された鉗子の3次元座標を三角測量の手法を用いて算出し、2本の鉗子の縫合結紮における動作を経時的連続的にトラッキングし得た。上記の研究成果の一部を、学会にて発表、また商用誌にて公表した。また、学術誌に投稿中である。④については、YOLOv3を用いて、腹腔鏡下胃切除術の動画からデータセットを作成し、右胃大網状脈・右胃動脈・左胃動脈・左胃静脈の自動認識に成功した。上記についても、学会及び商用誌にて成果の一部を発表した。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

・コロナ禍での研究体制の変化による影響が、遷延している。
・研究協力機関での人員削減により支障をきたした。
・リンパ節郭清シミュレーションモデルをCGで作成する前段階として、3Dプリンタでリアルなモデルを作成を試みたが、複雑な構造の再現などに技術的な障壁が
あり難渋・停滞した。

Strategy for Future Research Activity

カメラを用いた鉗子動作の3Dトラッキング、臓器・血管・鉗子の自動認識、など基礎的な技術開発は着実に前進している。3Dプリンタを用いた症例ごとのリアル
なシミュレーションモデルの創出には、内視鏡位置のトラッキング（臓器とカメラの相対的位置関係の算出）という技術的ハードルの克服が必要であり、内視鏡
画像中からの臓器血管の自動認識をブラッシュアップして、定位的なカメラ位置の推定算出を目指していく。また、カメラや鉗子の定位的な保持が可能なロボット支援下手術の手術映像を用いることも模索していく。