2019 Fiscal Year Research-status Report
CTと術中動画を用いた膵上縁リンパ節郭清シミュレーションモデルの開発
| Project/Area Number |
19K18151
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
山崎 悠太 神戸大学, 医学部附属病院, 医員 (60817823)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 腹腔鏡下胃切除術 / ディープラーニング |
|---|
| Outline of Annual Research Achievements |
研究初年度は、①CT画像からの臓器血管3D構築画像の収集、②手術動画中の鉗子自動認識システムの開発、③複数カメラ映像からの3次元座標の同定を行った。
①については、当科で昨年度に行った腹腔鏡下胃切除術症例のうち約30症例のCT画像で膵・膵上縁血管の3D構築画像を作成し収集した。
②については、汎用の物体検出モデルYOLOv3を腹腔鏡手術動画に応用するという手法である。腹腔鏡下胃切除術の手術動画から10000枚以上の画像を切り出し、手術器具14種類についてマニュアルアノテーションを行い学習用データセットを作成した。GPU搭載のコンピュータを用いてニューラルネットワークの学習を行い、腹腔鏡下胃切除術中の手術器具自動認識システムを作成した。さらに約3000枚のテスト用データセットを作成して精度評価を行い既報と比しても遜色のない認識精度を確認した。また、同システムの出力結果をもとに手術器具使用分布を視覚化するヒートマップを作成し、吻合法や出血の多少などの症例ごとの手術の特徴を表現することに成功した。上記研究成果をJournal of the American College of Surgeonsに報告した。
③については、3D内視鏡画像からの臓器・鉗子位置情報の抽出を目的として、まずは基礎的な実験・検証を行った。dry box内で鉗子を操作し、同dry box内にパラレルに配置したカメラで撮影した映像中からYOLOv3によって認識された鉗子の3次元座標を、三角測量の手法を用いて算出し得た。上記の研究成果も、学術誌に投稿中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
以前に開発していた術具自動認識システムはセマンティックセグメンテーションの手法を用いたものであったが、腹腔鏡下胃切除術のような多様な術具を使用する術式においては、複数種類の術具についてそれぞれ多量の画像にアノテーションを行ってデータセットを作成する必要があり、多大な時間と労力が必要と考えられ研究の進行に差し支えると判断した。そのため、セグメンテーションに比べてアノテーションの容易なobject detectionを用いることとし、汎用の物体検出アルゴリズム（YOLOv3）を応用する方針に切り替えた。そのため、新たなデータセット作成・精度評価を行ったためやや計画に遅延が生じているが、14種類もの術具に対して高い精度で自動認識が可能になったという点では、従前の手法で継続するよりは飛躍的に早くまた各段に少ない労力で実現できたと考える。
画像からの3次元座標の抽出に関しても、上記の通り物体検出の手法を変更したため遅延しているが、三角測量を用いた3次元座標の算出について基礎的な検証は終了している。
|
| Strategy for Future Research Activity |
YOLOv3を用いて胆のう摘出術における主要landmarkの自動認識に成功した研究が報告されており、膵上縁郭清後の画像における主要血管や臓器の自動認識は実現可能と考えられる。今後は当初の計画通り、自動認識システムによる手術映像中の3次元座標の抽出に取り組み、CT画像との対比によって、術中の臓器の異動を定量化し、シミュレーションモデルの作成に向けて、データの集積を行う。
|
| Causes of Carryover |
新型コロナウイルス感染症の流行に伴う外出自粛要請に伴い、学術集会の延期・研究協力機関に出向いてのミーティングの中止・各種物品の納期延長などの事由により、今年度内での支出額が減少した。
|
Research Products
(2 results)
