2019 Fiscal Year Annual Research Report
AI-based Computer-Aided-Orthpaedic-Surgery Navigation System
| Project/Area Number |
18F18377
|
|---|
| Research Institution | University of Hyogo |
|---|
Principal Investigator |
小橋 昌司 兵庫県立大学, 工学研究科, 教授 (00332966)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
HOSSAIN MD BELAYAT 兵庫県立大学, 工学(系)研究科(研究院), 外国人特別研究員
|
|---|
| Project Period (FY) |
2018-11-09 – 2021-03-31
|
| Keywords | 手術支援 / 動画像解析 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
本研究では術者視点で取得した人工膝関節置換術の手術映像からの手術手技工程の自動認識法として2つの手法を提案した．第1の提案手法は多クラス分類に基づいて手術手技工程を認識する方法である．第2の提案手法は，手技工程間の遷移を2クラス分類により検出することで，複数手術の手技工程を認識する手法である．
提案法１では，各手技をクラスとみなし，各フレーム画像から多クラス識別により，手技過程を認識する．識別法として，(提案法1a) Convolutional-LSTM networkに基づく手法，(提案法1b)提案法1aに正規順序性特徴量ベクトルTを導入した手法，(提案法1b) LSTMによる長期特徴量系列ベクトルに基づく手法を提案する．
提案法２では，各手技工程の進行時点を2クラス分類により検出する手法である．各進行時点の検出をTwo-class classification chain model (TCCM)により，検出モデルの切替を異常検知モデルにより行う．
提案手法を評価するため，術者が装着したスマートグラスにより術者視点で撮影された12例の手術映像を使用した．手術はZIMMER BIOMET社のインプラントおよび手術器具を用いた．手術手順書に従い，各映像に対して目視で11種類の手技工程の教師ラベル付けを行った．
多クラス分類に基づいた認識手法(提案法1)は59.9%の汎化精度であった．また，2クラス分類検出を用いた手技工程遷移による複数手技工程の認識法(提案法2)においてTCCMの汎化精度は83.1%，異常検知モデルの汎化結果は0.151 (MAE)であった.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
２つの手法を提案し，第１の手法においては59.9%とやや低い汎化精度であったが，2クラス分類検出を用いた手技工程遷移による複数手技工程の認識法(提案法2)においてTCCMの汎化精度は83.1%，異常検知モデルの汎化結果は0.151 (MAE)と向上できた．
|
| Strategy for Future Research Activity |
２つの手法を提案したが，データ数の増加，各モデルのパラメータ最適化を行うことで精度向上を行う．さらに，両手法を融合することで，異常検知モデルの精度改善を行う．さらに，他の有用な特徴量を用いたマルチモーダル学習を検討する．
|
