2019 Fiscal Year Research-status Report
深層学習を用いた鏡視下直腸癌手術の画像認識と評価システムの構築
| Project/Area Number |
18K16378
|
|---|
| Research Institution | National Cancer Center Japan |
|---|
Principal Investigator |
竹下 修由 国立研究開発法人国立がん研究センター, 東病院, 医員 (40645610)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 内視鏡外科 / 直腸癌 / 機械学習 / 画像認識 |
|---|
| Outline of Annual Research Achievements |
高難度化する鏡視下直腸癌手術の均てん化のためには、評価・解析に活用可能な手術手技のデジタル化や、それに基づく手術支援システムの開発が必要である。本研究では、手術映像における手技をデジタル化した上でデータセットとし、手術器具や解剖構造、手術工程などを画像認識、解析するシステムの構築を行い、臨床への活用へ繋げる。
2019年度の実施内容としては、①鏡視下直腸癌手術映像の収集、②ラベリング作業、③機械学習とバリデーション、について予定通り実施した。
①においては、2019年度は新規で国立がん研究センター東病院において経肛門的全直腸間膜切除術（taTME）が行われた症例の手術動画を149例収集した。②においては、手術動画から抽出した静止画に対し、taTMEにおける術中解剖構造認識として最も重要であると考えられる前立腺を対象とし、17症例から500枚のラベリングを行いデータセットを作成し、semantic segmentation用教師データとした。また、術中工程認識としては、taTME手術を5つの工程に分け、50症例の手術動画に対しラベリングを行いデータセットを作成し、classification用教師データとした。
③において実施した機械学習の結果、術中解剖構造認識として、前立腺でDice係数0.71の精度で予測モデルが構築された（畳み込みニューラルネットワークによる深層学習モデル：DeepLab v3 plusを使用。）。また、taTMEの術中工程認識として、40症例を学習用データ、10症例をテスト用データとしたところ、Accuracy：93.2%の精度での精度で予測モデルが構築された（畳み込みニューラルネットワークによる深層学習モデル：Xceptionを使用）。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究実績の概要に示したように、研究計画調書で提示しているマイルストーンにおいて、2019年度に実施する項目として、①鏡視下直腸癌手術映像の収集、②ラベリング作業については予定通り実施することが出来ている。①においては、2018年度に完了した定型的な鏡視下直腸癌手術映像（低位前方切除術）に加え、本研究のメインターゲットと考える経肛門的全直腸間膜切除術（taTME）を対象として動画収集を行い、機械学習に必要な症例収集を達成・完了している。②においては、taTMEを対象としたラベリングとしてsemantic segmentation用の解剖構造（前立腺）とclassification用の手術工程のラベリングも完了し、機械学習のプロセスに進んだ。③機械学習とバリデーションにおいては、定型的な低位前方切除術に対しては術具・手術工程・解剖構造の認識として2018年度にfeasibleな精度を持った予測モデルが構築されている。taTMEに対しても、2019年度分のタスクとして手術工程・解剖構造の認識として今回非常に良好な精度を持った予測モデルが構築された。特に2018年度に直面した前立腺の画像認識精度が2019年度に大幅に改善された。これはラベリング手法の統一による教師データの質向上と、データ数の増加が大きく貢献したと考えられる。これらをもって、手術支援システムの要素技術としての画像認識システムの開発が完了したことになり、2020年度分のタスクの大部分が進捗として達成されたこととなる。
taTMEの解剖構造認識システム（前立腺の予測モデル構築）の開発がSurgical Endoscopyにアクセプトされており、taTMEの手術工程認識システムの開発については現在論文投稿中である。
|
| Strategy for Future Research Activity |
術具、主要解剖構造、手術工程それぞれの機械学習による予測モデルが構築された。精度としてもfeasibleなものとなり、リアルタイム手術支援システムの要素技術としての画像認識システムが出来上がったこととなる。しかし、もう一方の最終成果物として掲げているAIによる手術技術評価システムの開発においては、これら画像認識技術を活用し手術手技を定量評価していく必要がある。このような取り組みは、手術トレーニング用のドライボックスなど固定されたセッティングで行われている報告はあるものの、バリエーションの多い実際の手術映像を使用して行われるケースは少ない。鏡視下直腸癌手術のうち、適切な特定シーン（工程）を対象として絞り込み、解析を進めていくことが望ましいと考えている。
|
| Causes of Carryover |
想定していた国際学会への参加が困難となった。ラベリング用の人件費を計上していたが、2019年度に関しては外科医によるラベリングが主となり人件費としての執行が出来なかった。2020年度以降、手術手技定量化に関するラベリング作業加速を図るため使用予定。
|
