2018 Fiscal Year Annual Research Report
AI-based Computer-Aided-Orthpaedic-Surgery Navigation System
| Project/Area Number |
18F18377
|
|---|
| Research Institution | University of Hyogo |
|---|
Principal Investigator |
小橋 昌司 兵庫県立大学, 工学研究科, 教授 (00332966)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
HOSSAIN MD BELAYAT 兵庫県立大学, 工学(系)研究科(研究院), 外国人特別研究員
|
|---|
| Project Period (FY) |
2018-11-09 – 2021-03-31
|
| Keywords | 手術ナビゲーション / 人工知能 / 手技認識 / 整形外科 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
人工膝関節置換術は，同手術を構成する手順が多く（ある機種では２７種類），また多数の手術器具（約１２０種類）を用いる．さらに，人工膝関節の機種別，メーカ別にその手順や使用する器具も異なるため，手術器具を術者に渡す器械出し看護師はもちろん術者やその助手にも大きな負担となっている．同負担が，使用する機種の制限につながり，各患者に最適な機種選択が行えない要因の一つになっている．
本研究では，術者がスマートグラスを装着し，術者視点での動画を撮影することで，人工知能がその手術手順を自動認識し，器械出し看護師や助手ら，手術室の全メンバーに情報共有するとともに，次手順や使用する器具，その準備をナビゲーションするシステムを構築している．本年度は，術者視点動画からの手術手順の自動認識法，動画中の手術器具の自動認識法を開発した．
手術手順の自動認識法においては，各フレーム画像に対して，まず術者視点が術野を含むか否かを，畳み込みニューラルネットワーク(CNN)によるクラス識別により行う．術野を含むと認識されたフレーム画像は，各手順をクラスとしたCNNによるクラス識別により手順認識が行われる．次に手術器具認識においては，深層学習の１種であるYOLOv3を用いて，手術動画に含まれる手術器具をアノテーションしたもので学習を行い，学習後は自動で動画中の手術器具を検出，認識する手法を提案した．
各手法を評価するため手術動画６症例を収集し，うち１例を評価データ，他５例を学習データとしたLOOCV実験を実施した．術野を含むフレーム識別は，学習データは100％，評価データにおいて99.7％の精度であった．手術手技認識については，フレーム毎の評価結果では，複数のCNNモデルを適用した結果VGG16が最も精度が高く32.5%であった．また，手術器具認識精度は38.5％であった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画通り，手術AIナビゲーションシステムを構成する３種類の手法を研究開発した．まず，術野を含むか否かの認識については非常に高精度で，完成の域に至った．つぎに，手技認識及び手術器具認識については，いまだ精度は低いが，方法全体のフレームワークが完成したことから，各ステップで様々な手法を開発・評価できる実験環境が整った．
|
| Strategy for Future Research Activity |
これまでの研究に基づき，今後は手技認識及び手術器具認識の手法開発，および評価が必要である．現在はフレーム単位の認識を行っておりフレーム間の連続性は考慮されていない．さらには，対象とする手術の手順を先見知識としてのモデル化が行えていない．そこで，今後は，隠れマルコフモデル(HMM)やグラフ理論に基づく手術手順のモデル化，またそれに基づく動画としてのシーン認識法を検討する．さらには，手術動画を多数収集し，データ数増加による精度向上を図る．
|
