2020 Fiscal Year Research-status Report
深層学習による手術支援ロボットの外科手術工程のリアルタイム認識に関する基礎的研究
| Project/Area Number |
18K11493
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
宮脇 富士夫 東京電機大学, 理工学部, 教授 (50174222)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日高 章理 東京電機大学, 理工学部, 准教授 (70553519)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 手術支援ロボット / 外科手術工程リアルタイム認識 / 深層ニューラルネットワーク / 模擬胆嚢摘出術 / 手術視覚特徴 / 術者動作特徴 / 術野内視鏡動画 / 術者動作動画 |
|---|
| Outline of Annual Research Achievements |
昨年度より術者数と動画数が増えた模擬手術動画像を対象として研究を遂行した。
1）術者の動作をOpenPoseで取得し4種類の外科操作を自動認識する深層学習手法TPF（Temporal pose feature）CNNを昨年度提案したが、本年度はさらに改良発展させた。10秒間の動画（600 fps）1コマ毎にOpenPoseで取得された36次元の姿勢特徴ベクトル情報（身体18箇所の各ｘｙ座標）を付した時系列姿勢特徴行列（600 x 36）をTPF CNNへの入力データとした。昨年度と同様にLSTMと比較したが、今年度はそれぞれ10回試行とし、さらにLeave-videos-out評価を行った。剥離操作識別率はTPFが74.3 ± 4.3%で、LSTMが77.2 ± 5.8%、結紮は89.3 ± 4.2%と85.4 ± 5.2%、切離は36.7 ± 7.1%と28.6 ± 11.6%、止血は58.1 ± 8.9%と48.6 ± 12.5%、クラス平均は64.6 ± 2.4%と59.9 ± 4.0%であり、剥離以外はTPFの方が良好であった。
2）内視鏡動画像から出血点の同定と止血完了の認識が可能かどうか検討した。模擬手術の出血点は小さな赤い毛糸玉で模した。止血完了は先端を墨に浸した器具で毛糸玉を完全に黒く塗りつぶすことで模した。通常のCNNの層構造の数、畳み込み層のフィルタの数、フィルタサイズやストライド幅などの最適化を試行錯誤的に行った後に、初期学習率、エポック数の最適化を試行錯誤的に行った。訓練用の出血および止血画像数（それぞれ時系列は無視）はともに1000枚, テスト用の出血および止血画像数はともに100枚とし、Leave-videos-out評価を行った。出血を98.80 ± 1.94%、止血を42.20 ± 8.28%（それぞれN = 5）で識別可能であった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
1）コロナ禍のため学生の大学入構禁止が長期に及び、禁止が解除されて以降も人数制限があり、研究が例年のように進まなかった。新規の模擬手術症例数も多くなく、データの蓄積が思うように進まなかった。
2）しかし、本報告の実績には記載していないTPF CNNの層構造の改変、リアルタイムに近づけるような試み、などの進捗はあった。さらに、前年度は1回のみの試行で比較していたが、複数回の試行で比較することによって、バラツキも評価対象とし、Leave-videos-out評価やLeave-person-out評価も行った。
３）また、昨年度も予定通りに進展しなかったエストニアのタリン工科大学との共同研究課題は、Juri Vain教授を結局招聘できなかったものの、Zoom会議などで進捗している。
|
| Strategy for Future Research Activity |
1）TPF CNNの入力動画は10秒間（600フレーム）であったが、より短い動画（例えば1秒など）を入力した場合に外科操作識別率がどのように影響受けるか検討する。さらに、TPF CNNの層構造を適宜変更して最適化を図る。
2）これまで学習に用いてこなかった手術器具情報をも利用してどの程度向上するのか検討するという課題（昨年度予定）を遂行する。
3）コロナ禍で来日がかなわなかったタリン工科大学Juri Vain教授を招き、外科操作認識情報が器械出し看護師ロボットの頭脳である外科手術モデル（Uppaal TAで記述）を正しく遷移できるどうか検討する。
4）最終目標である外科手術工程のリアルタイム認識を達成するには現状のハードウェアでは限界があるが、ソフト的な改善によってリアルタイム認識に繋がる成果を挙げる。
|
| Causes of Carryover |
コロナ禍のため学生の大学入構禁止が長期に及び、禁止が解除されて以降も人数制限があり、研究が例年のように進まなかった。
共同研究者のエストニア・タリン工科大学Vain教授を招請し、2020年3月に実験を行う予定で旅費を計上していたが、2020年度は海外渡航が禁止されていたため使用できなかった。しかし、2021年度には来日できる可能性があると判断し、その旅費分を2021年度に再度招請するために残した。
|
