研究課題
本研究では術者視点で取得した人工膝関節置換術の手術映像からの手術手技工程の自動認識法として2つの手法を提案した．第1の提案手法は多クラス分類に基づいて手術手技工程を認識する方法である．第2の提案手法は，手技工程間の遷移を2クラス分類により検出することで，複数手術の手技工程を認識する手法である．提案法１では，各手技をクラスとみなし，各フレーム画像から多クラス識別により，手技過程を認識する．識別法として，(提案法1a) Convolutional-LSTM networkに基づく手法，(提案法1b)提案法1aに正規順序性特徴量ベクトルTを導入した手法，(提案法1b) LSTMによる長期特徴量系列ベクトルに基づく手法を提案する．提案法２では，各手技工程の進行時点を2クラス分類により検出する手法である．各進行時点の検出をTwo-class classification chain model (TCCM)により，検出モデルの切替を異常検知モデルにより行う．提案手法を評価するため，術者が装着したスマートグラスにより術者視点で撮影された12例の手術映像を使用した．手術はZIMMER BIOMET社のインプラントおよび手術器具を用いた．手術手順書に従い，各映像に対して目視で11種類の手技工程の教師ラベル付けを行った．多クラス分類に基づいた認識手法(提案法1)は59.9%の汎化精度であった．また，2クラス分類検出を用いた手技工程遷移による複数手技工程の認識法(提案法2)においてTCCMの汎化精度は83.1%，異常検知モデルの汎化結果は0.151 (MAE)であった.
2: おおむね順調に進展している
２つの手法を提案し，第１の手法においては59.9%とやや低い汎化精度であったが，2クラス分類検出を用いた手技工程遷移による複数手技工程の認識法(提案法2)においてTCCMの汎化精度は83.1%，異常検知モデルの汎化結果は0.151 (MAE)と向上できた．
２つの手法を提案したが，データ数の増加，各モデルのパラメータ最適化を行うことで精度向上を行う．さらに，両手法を融合することで，異常検知モデルの精度改善を行う．さらに，他の有用な特徴量を用いたマルチモーダル学習を検討する．
すべて 2020 2019
すべて 雑誌論文 (6件) (うち国際共著 6件、 査読あり 6件、 オープンアクセス 2件) 学会発表 (2件)
International Journal of Affective Engineering
巻: 19 ページ: 137～143
10.5057/ijae.IJAE-D-19-00018
Proc. SPIE 11315, Medical Imaging 2020: Image-Guided Procedures, Robotic Interventions, and Modeling, 113151M
巻: 1 ページ: 1-6
https://doi.org/10.1117/12.2550670
2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech)
巻: 1 ページ: 1-3
10.1109/LifeTech48969.2020.1570619203
International Symposium on Affective Science and Engineering
巻: ISASE2019 ページ: 1～5
https://doi.org/10.5057/isase.2019-C000028
6th International Workshop on Advanced Computational Intelligence and Intelligent Informatics
