2018 Fiscal Year Research-status Report
深層学習による手術支援ロボットの外科手術工程のリアルタイム認識に関する基礎的研究
| Project/Area Number |
18K11493
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
宮脇 富士夫 東京電機大学, 理工学部, 教授 (50174222)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日高 章理 東京電機大学, 理工学部, 准教授 (70553519)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 手術支援ロボット / 外科手術工程リアルタイム認識 / 深層ニューラルネットワーク / 模擬胆嚢摘出術 / 手術視覚特徴 / 術者動作特徴 / 術野内視鏡動画 / 術者動作動画 |
|---|
| Outline of Annual Research Achievements |
本研究目標の一つである「手術操作動画、執刀医の動作動画、手術器具情報から手術が現在どの段階にあるのかを識別する深層ニューラルネットワークの学習」について、模擬胆嚢摘出術を動画撮影し、術者の外科操作中の動作画像、術野を撮した内視鏡画像をそれぞれ深層学習し、外科操作をどの程度認識できるか検討した。
1）腹腔鏡手術トレーニングボックス内に模型の肝臓を設置し、これに白色のロングバルーンで模した胆嚢と胆嚢管を面ファスナーで固着させた。3台のカメラ（内視鏡カメラ，術者動作用カメラ，術者が操作する手術器具用カメラ）を60fpsで同期撮影しつつ、内視鏡カメラの映像が映し出されているモニタを見ながら6種類7本の手術器具を使い分けて以下の4つの操作（行為）を行った：剥離（面ファスナーを剥がす）、結紮（胆嚢管を糸で2箇所縛る）、切離（胆嚢管を切る）、止血（出血を模した赤い毛糸を先端に墨を付けた器具で染める）。この模擬手術を5名が合計22回行った。
2）術者動作画像を4種類の行為毎に一コマずつラベル付けをし、5秒毎に10秒ずつ切り出して1つのデータセットとし、合計2925本のデータセットを作成した。
3）これらの動画からOpenPoseによって検出された人体特徴点の座標（動作特徴）を取得し、ST-GCN法とLSTM法でそれぞれ学習した結果、クラス平均識別率はともに約40%であり、剥離と結紮の認識率が70%を超えているのに対し、切離と止血は殆ど認識できなかった。
4）内視鏡動画を物体認識用CNNであるAlexnetに入力し，得られた視覚的特徴量をLSTMで学習させると、クラス平均識別率が60.5％に向上した。特に，切離，止血についても54.1%，32.4%の識別率が得られた。最後に、動作特徴と視覚特徴の両者で学習した結果、クラス平均識別率が62.9%に向上した。データ数を増やすなどしてさらなる改善を目指す。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
種々の深層ニューラルネットワークでクラス識別率を比較できたことを報告したが、これ以外にも研究成果が上がっている。さらに初年度から学会で2件報告できたため、当初の計画以上に進展しているとした。
|
| Strategy for Future Research Activity |
1）平均クラス識別率がまだ60％台であり、これを向上させる必要がある。
2）「動作特徴をST-GCN法とLSTM法でそれぞれ学習した結果、クラス平均識別率はともに約40%であり、剥離と結紮の認識率が70%を超えているのに対し、切離と止血は殆ど認識できなかった」と報告したが、切離と止血という外科操作は短時間で終了するため、データセット数が剥離と結紮に比べて極端に少ない。即ち、剥離クラスのデータ数は1050個、結紮が1352個であったのに対し、切離は270個、止血は253個であった。深層学習にはある程度の量のデータが必要であるため、模擬手術回数を増やすことによってクラス識別率の向上を試みる。
3）また今回の模擬手術では、手術経験者が1名で、残りは非医療系の学生であった。個別の学習効果では手術経験者の動画の方が効果の高いことが判っているので、手術経験者の参加を増やすことによって学習効果の向上を図る。
4）本研究のもう一つの目標である「構築された状態認識DNNモデルによってUppaal TAで記述された外科手術手順モデルの‘自動状態遷移’を実現する」に関して、模擬胆嚢摘出術のUppaal TAは作成できたので、この課題も少しずつ進める予定である。
|
| Causes of Carryover |
当初購入を予定していた鏡視下用手術器具は高価な特注品であったが、現在これらを作製できる業者が居なくなっていることが判明した。仕方なくトレーニング用の安価な手術器具模造品を購入したため物品費が大幅に余ることになった。しかし、初年度から学会発表は想定していなかったが成果が上がったため、学生の学会発表用の旅費にこの余った物品費の一部を回すことができた。
|
Research Products
(2 results)
