2019 Fiscal Year Research-status Report
深層学習による手術支援ロボットの外科手術工程のリアルタイム認識に関する基礎的研究
| Project/Area Number |
18K11493
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
宮脇 富士夫 東京電機大学, 理工学部, 教授 (50174222)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日高 章理 東京電機大学, 理工学部, 准教授 (70553519)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 手術支援ロボット / 外科手術工程リアルタイム認識 / 深層ニューラルネットワーク / 模擬胆嚢摘出術 / 手術視覚特徴 / 術者動作特徴 / 術野内視鏡動画 / 術者動作動画 |
|---|
| Outline of Annual Research Achievements |
1）新たな術者を加えて昨年度と同様に3台のカメラで同時撮影しつつ、4種類の外科操作（剥離、結紮、切離、止血）を繰り返して胆嚢摘出術を模擬した。
2）術者動作撮影用カメラ画像のみを対象として外科操作を識別する試みを昨年度から行っている。昨年度はST-GCN法とLSTM法を試したが、両者ともにクラス平均識別率は約40%であり、剥離と結紮の識別率が70%を超えているのに対し、切離と止血は殆ど認識できなかった。今年度の試みとして、OpenPose法から得られる人体骨格座標値を時系列で並べた行列（時系列動作特徴行列）を疑似的な画像データとみなし、CNNの入力データとして用いる既存の手法を少し改変して（Temporal Action Feature CNN（TAF CNN）と命名）、深層学習を施行した。LSTMと同じデータを対象として比較すると、LSTMの4クラス平均識別率が26.7%（昨年度よりも低下）であったのに対して、TAF CNNの4クラス平均識別率は78.8%（剥離操作87.8％、結紮操作92.4%、切離操作77.0%、止血操作57.8%）と識別率の大幅な向上が得られた。因みに、切離と止血のLSTMによる識別率はともに0%であった。
3）内視鏡カメラ画像のみを対象として、手術状況を3クラス（正常，出血，アクシデント）に分類して通常のCNNで深層学習を行ったところ、3種類の手術状況を平均96.6%で識別できた。さらに、約1677万階調フルカラー画像を256階調のグレーに変換して比較した結果、グレーの方が学習時間が短いばかりでなく、クラス平均識別率も高い傾向にあった。さらに、赤い小さな毛糸で模した出血点を見出す'出血’クラスの識別率はむしろ一貫してグレーの方が高かったので、出血点検出には色情報を利用していないことが示唆され、対象によってはカラー画像は必須ではないと考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1）研究実績の概要に記した以外の深層ニューラルネットワークでも研究を遂行している。さらに、リアルタイムに近づけるような試みも行っており、おおむね順調に進展している。
2）唯一予定通りに進展しなかったのは、器械出し看護師ロボットの頭脳を構築しているUppaal Timed Automata (TA)と深層ニューラルネットワークとの連携である。Uppaal TAの権威であるエストニアのタリン工科大学Juri Vain教授とは器械出し看護師ロボットプロジェクトで予てからの共同研究者であり，彼を2020年3月に日本に招き，共同実験を行う予定であった。しかし，コロナ禍で来日がかなわず，この点のみ予定通り施行できていない。
|
| Strategy for Future Research Activity |
1）昨年度は術者動作画像から取得した動作特徴と内視鏡動画から取得した視覚特徴の両者で学習した結果、外科操作のクラス平均識別率が62.9%に達したが、今年度は術者動作画像から取得した動作特徴だけでTAF CNNを用いればクラス平均識別率が78.8%に向上できた。これをさらに改善するとともに、昨年度と同様に動作特徴と視覚特徴の両方を用いるとどの程度さらに向上するのか検討する。
2）さらにこれまで学習に用いてこなかった手術器具情報をも利用してどの程度向上するのかも検討する。
3）コロナ禍で来日がかなわなかったタリン工科大学Juri Vain教授を招き、外科操作認識情報が器械出し看護師ロボットの頭脳である外科手術モデル（Uppaal TAで記述）を正しく遷移できるどうか検討する。
4）最終目標である外科手術工程のリアルタイム認識を達成するには現状のハードウェアでは限界があるが、ソフト的な改善によってリアルタイム認識に繋がる成果を挙げる。
|
| Causes of Carryover |
共同研究者のエストニア・タリン工科大学Vain教授を招請し、2020年3月に実験を行う予定で旅費を計上していたが、急遽コロナ禍で来日できなくなったため、その一部を次年度に再度招請するために残した。
|
