2021 Fiscal Year Annual Research Report
Basic Study on Real-time Recognition of Surgical Procedures by Surgery-assisting Robot Using Deep Learning
| Project/Area Number |
18K11493
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
宮脇 富士夫 東京電機大学, 理工学部, 教授 (50174222)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日高 章理 東京電機大学, 理工学部, 准教授 (70553519)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 手術支援ロボット / 外科手術工程リアルタイム認識 / 深層ニューラルネットワーク / 模擬胆嚢摘出術 / 手術視覚特徴 / 術者動作特徴 / 術野内視鏡動画 / 術者動作動画 |
|---|
| Outline of Annual Research Achievements |
前年度提案したTPF(Temporal pose feature)CNNは10秒間の動画(600コマ)の1コマ毎にOpenPoseで取得された36次元の姿勢特徴ベクトル情報を付した時系列姿勢特徴行列（600 x 36）を入力データとしたが、今年度は10秒に加えて３秒動画及び１秒動画も作成して，認識ラグ時間の短縮による認識精度への影響を調べた。また、学習データを増やすために、重複率50、95%のデータセットをそれぞれの時間長で作成し，重複率と認識精度の比較実験を行った結果、重複率95%が最大であったため、このデータ群を対象に、TPF CNNにResidual Networkのresidual block層を導入した場合（Res-TPF CNN）としない場合でLeave -video-out（LVO）評価で比較検討した。Res-TPF CNN もTPF CNNもともに秒数が長くなるにつれて識別率が上昇する傾向が認められたが、全ての秒数でRes-TPF CNNの識別率が高かった。具体的には、１秒の小動画によるRes-TPF CNNのクラス平均識別率は10秒の小動画によるTPF CNNと同等の値（約70%）になった。これは同じ識別率を得るためのタイムラグを10秒から１秒に改善できたことを意味する。
さらに外科操作を内視鏡画像のみから同定可能か通常のCNNで検討した。４種の外科操作の静止画像群からそれぞれ無作為に5000枚を学習用に、300枚をテスト用に選んで、Leave -person-out評価＆LVO評価を10回行い、LVO評価のみを10回行った。結紮操作は90.2±16.0％と良好であったが、他の操作は不良であり、剥離操作1.8±3.4%、切離操作2.6±8.0%、止血操作13.5±26.7%であった（クラス平均は27.0±6.4%）。現在、３D CNNによって再評価している。
|
