人工知能によるコンピュータ整形外科手術ナビゲーションシステム

• 研究課題/領域番号: 18F18377
• 研究種目: 特別研究員奨励費
• 配分区分: 補助金
• 応募区分: 外国
• 審査区分: 小区分61040:ソフトコンピューティング関連
• 研究機関: 兵庫県立大学
• 研究代表者: 小橋 昌司 兵庫県立大学, 工学研究科, 教授 (00332966)
• 研究分担者: HOSSAIN MD BELAYAT 兵庫県立大学, 工学(系)研究科(研究院), 外国人特別研究員
• 研究期間 (年度): 2018-11-09 – 2021-03-31
• 研究課題ステータス: 完了 (2020年度)
• 配分額: 2,200千円 (直接経費: 2,200千円); 2020年度: 700千円 (直接経費: 700千円); 2019年度: 1,100千円 (直接経費: 1,100千円); 2018年度: 400千円 (直接経費: 400千円)
• キーワード: 整形外科手術支援 / 人工知能 / 手術支援 / 動画像解析 / 手術ナビゲーション / 手技認識 / 整形外科 / 深層学習

研究実績の概要

超高齢化社会の到来を背景に，関節置換術の手術症例数は増加傾向にある．手術予後の向上には，正しいアライメントでの骨切りや人工関節設置が有効であるとされており，同手術精度を向上するため，これまで様々なナビゲーションシステムやロボット手術が導入されてきた．一方，同手術は多くの工程で構成され，多くの手術器具が使用される．そのため器械出し看護師にとって，同手術の複雑な手順と手術器具を把握することは大きな負担であり，術中の器具の受け渡しのミス，手術時間延長による予後不良等の手術の質の低下につながる可能性がある．しかしながら，前述の通りこれまでのナビゲーションシステムは手術精度の向上が主眼であり，術者や看護師らの作業支援には注目されていなかった．
本研究では，術中に器械出し看護師を含む医療スタッフに対し，手術工程を通知する整形外科手術-人工知能ナビゲーションシステム(Orthopaedic Surgery AI Navigation System; OSAI System)を提案した．同システムでは，執刀医が行っている現時点の手術工程を自動認識し，周囲の助手や器械出し看護師に，次手術工程を通知し，必要な手術器具やその準備を提示する．本システムでは，執刀医がスマートグラスを装着するのみで実装可能であるため，非常に導入が容易で，安価である特徴を有する．
術者視点で取得した手術映像からの手術手技工程の自動認識法として，深層学習による画像解析技術に基づく2つの手法を提案した．Convolutional-LSTM networkに基づく手法の精度は59.9%であった．また，工程進行の時点検出に基づく手法では，TCCMの精度は83.1%，異常検知モデルの検出精度は平均二乗誤差が0.151であった.

現在までの達成度 (段落)

令和2年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和2年度が最終年度であるため、記入しない。

研究成果

• [国際共同研究] 国際経営農業技術大学(バングラデシュ)
• [雑誌論文] 特集 整形外科×人工知能 人工知能による整形外科手術ナビゲーション (2020)
  • 著者名/発表者名: 小橋 昌司、八木 直美、平中 崇文
  • 雑誌名: 臨床整形外科 巻: 55 号: 8 ページ: 925-931
  • DOI: 10.11477/mf.1408201769
  • ISSN: 0557-0433, 1882-1286
  • 年月日: 2020-08-25
• [雑誌論文] Surgical Phase Recognition with Wearable Video Camera for Computer-aided Orthopaedic Surgery-AI Navigation System (2020)
  • 著者名/発表者名: NISHIO Shoichi、HOSSAIN Belayat、NII Manabu、YAGI Naomi、HIRANAKA Takafumi、KOBASHI Syoji
  • 雑誌名: International Journal of Affective Engineering 巻: 19 号: 2 ページ: 137-143
  • DOI: 10.5057/ijae.IJAE-D-19-00018
  • NAID: 130007866877
  • ISSN: 2187-5413
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Hand Frame Extraction in Surgical Video Images Using Convolutional Neural Network (2020)
  • 著者名/発表者名: Sakib Shadman、Hossain Belayat、Hiranaka Takafumi、Kobashi Syoji
  • 雑誌名: 2020 Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems (SCIS-ISIS) 巻: １ ページ: 1-5
  • DOI: 10.1109/scisisis50064.2020.9322759
  • 査読あり / 国際共著
• [雑誌論文] A deep learning approach for surgical instruments detection in Orthopaedic surgery videos using transfer learning (2020)
  • 著者名/発表者名: Hossain Belayat、Nishio Shoichi、Takafumio Hiranaka、Kobashi Syoji
  • 雑誌名: Proc. SPIE 11315, Medical Imaging 2020: Image-Guided Procedures, Robotic Interventions, and Modeling, 113151M 巻: 1 ページ: 1-6
  • DOI: 10.1117/12.2550670
  • 査読あり / 国際共著
• [雑誌論文] Surgical Phase Recognition Method with a Sequential Consistency for CAOS-AI Navigation System (2020)
  • 著者名/発表者名: Nishio Shoichi、Hossain Belayat、Yagi Naomi、Nii Manabu、Hiranaka Takafumi、Kobashi Syoji
  • 雑誌名: 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech) 巻: 1 ページ: 1-3
  • DOI: 10.1109/lifetech48969.2020.1570619203
  • 査読あり / 国際共著
• [雑誌論文] Workflow Recognition from Knee Surgical Videos: Role of Deep Neural Networks (2019)
  • 著者名/発表者名: NISHIO Shoichi、HOSSAIN Belayat、NII Manabu、HIRANAKA Takafumi、KOBASHI Syoji
  • 雑誌名: International Symposium on Affective Science and Engineering 巻: ISASE2019 号: 0 ページ: 1-5
  • DOI: 10.5057/isase.2019-C000028
  • NAID: 130007656964
  • ISSN: 2433-5428
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Computer-aided system for operating room nurses during knee surgery (2019)
  • 著者名/発表者名: B. Hossain, S. Nishio, H. Takafumi, and S. Kobashi
  • 雑誌名: 6th International Workshop on Advanced Computational Intelligence and Intelligent Informatics 巻: 1 ページ: 1-6
  • 査読あり / 国際共著
• [雑誌論文] Orthopedic surgery video analysis using object detection towards surgical procedure recognition (2019)
  • 著者名/発表者名: S. Nishio, B. Hossain, N. Yagi, M. Nii, H. Takafumi, and S. Kobashi
  • 雑誌名: 6th International Workshop on Advanced Computational Intelligence and Intelligent Informatics 巻: 1 ページ: 1-6
  • 査読あり / 国際共著
• [雑誌論文] Real-time Surgical Tools Recognition in Total Knee Arthroplasty Using Deep Neural Networks (2018)
  • 著者名/発表者名: Hossain Moazzem、Nishio Soichi、Hiranaka Takafumi、Kobashi Syoji
  • 雑誌名: 2018 Joint 7th International Conference on Informatics, Electronics & Vision (ICIEV) and 2018 2nd International Conference on Imaging, Vision & Pattern Recognition (icIVPR) 巻: 1 ページ: 470-474
  • DOI: 10.1109/iciev.2018.8641074
  • 査読あり
• [雑誌論文] Real-Time Orthopedic Surgery Procedure Recognition Method with Video Images from Smart Glasses Using Convolutional Neural Network (2018)
  • 著者名/発表者名: Nishio Shoichi、Hossain Moazzem、Hossain Belayat、Nii Manabu、Hiranaka Takafumi、Kobashi Syoji
  • 雑誌名: 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC) 巻: 1 ページ: 379-384
  • DOI: 10.1109/smc.2018.00074
  • 査読あり
• [学会発表] Knee replacement surgery phase recognition with wearable camera (2020)
  • 著者名/発表者名: S. Kobashi, S. Nishio, and B. Hossain
  • 学会等名: International Workshop on Advanced Image Technology 2020
• [学会発表] スマートグラスを用いた整形外科手術ナビゲーションシステム" 日本医用画像工学会, 2019 久保有輝, "人工上腕骨頭設計のための統計的形状モデル構築 (2019)
  • 著者名/発表者名: 西尾 祥一, Moazzem Hossain , 新居 学, 平中 崇文, 小橋 昌司
  • 学会等名: 2019年度SOFT関西支部学生研究発表会