CTと術中動画を用いた膵上縁リンパ節郭清シミュレーションモデルの開発
Project/Area Number |
19K18151
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 55020:Digestive surgery-related
|
Research Institution | Kobe University |
Principal Investigator |
山崎 悠太 神戸大学, 医学研究科, 医学研究員 (60817823)
|
Project Period (FY) |
2019-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
Keywords | 腹腔鏡下胃切除術 / 膵上縁リンパ節郭清 / ディープラーニング / 物体検出 / 腹腔鏡手術 / シミュレータ / 自動認識 |
Outline of Research at the Start |
本研究の目的は、術前CTによる3D臓器構築及び手術ビデオからの画像認識を用いて、ロボット支援下胃切除術における膵上縁リンパ節郭清のシミュレーションモデルを作成することである。 本研究では、これまで難しかった術中の非剛体臓器の変形・移動を再現するために、3D手術ビデオから臓器位置情報を抽出する手法を用いる点で独自性がある。また、ロボット支援下手術で記録される鉗子操作情報と手術ビデオからの臓器位置情報を、シミュレーションモデルに融合させることで、シミュレータ上で手技の復習・共有が可能となり革新的である。
|
Outline of Annual Research Achievements |
2021年度は前年度に引き続いて、①CT画像からの臓器血管3D構築モデルの創出、②手術動画中の鉗子自動認識システムの開発とそれを用いた臨床研究、③物体検出モデルを用いた鉗子動作のトラッキング、④物体検出モデルを用いた臓器血管の自動認識、を行った。①については、3Dプリンタを用いてCT画像から症例ごとの臓器血管モデルを作成するため、3Dプリンタうを導入しモデルの作成を試みた。②については、YOLOv3を用いて作成した腹腔鏡下胃切除術中の手術器具自動認識システムを、データセットを充実させることで更に多種類の器具・シーンに対応させ、胃切除術中の幽門下リンパ節郭清・膵上縁リンパ節郭清中の術具使用状況を術者技術レベルごとに比較し、その特徴を明らかにした。消化器外科領域において、AIを用いてデータを採取したほぼ最初の臨床研究として、Journal of Gastrointestinal Surgeryにてpublishされた。③については、3D内視鏡画像からの臓器・鉗子位置情報の抽出を目的として、drybox内で鉗子を操作し、同drybox内にパラレルに配置したカメラで撮影した映像中からYOLOv3によって認識された鉗子の3次元座標を三角測量の手法を用いて算出し、2本の鉗子の縫合結紮における動作を経時的連続的にトラッキングし得た。上記の研究成果の一部を、学会にて発表、また商用誌にて公表した。また、学術誌に投稿中である。④については、YOLOv3を用いて、腹腔鏡下胃切除術の動画からデータセットを作成し、右胃大網状脈・右胃動脈・左胃動脈・左胃静脈の自動認識に成功した。上記についても、学会及び商用誌にて成果の一部を発表した。
|
Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
・コロナ禍での研究体制の変化による影響が、遷延している。 ・研究協力機関での人員削減により支障をきたした。 ・リンパ節郭清シミュレーションモデルをCGで作成する前段階として、3Dプリンタでリアルなモデルを作成を試みたが、複雑な構造の再現などに技術的な障壁が あり難渋・停滞した。
|
Strategy for Future Research Activity |
カメラを用いた鉗子動作の3Dトラッキング、臓器・血管・鉗子の自動認識、など基礎的な技術開発は着実に前進している。3Dプリンタを用いた症例ごとのリアル なシミュレーションモデルの創出には、内視鏡位置のトラッキング(臓器とカメラの相対的位置関係の算出)という技術的ハードルの克服が必要であり、内視鏡 画像中からの臓器血管の自動認識をブラッシュアップして、定位的なカメラ位置の推定算出を目指していく。また、カメラや鉗子の定位的な保持が可能なロボット支援下手術の手術映像を用いることも模索していく。
|
Report
(4 results)
Research Products
(8 results)