2018 Fiscal Year Research-status Report
深層学習を用いた鏡視下直腸癌手術の画像認識と評価システムの構築
| Project/Area Number |
18K16378
|
|---|
| Research Institution | National Cancer Center Japan |
|---|
Principal Investigator |
竹下 修由 国立研究開発法人国立がん研究センター, 東病院, 医員 (40645610)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 内視鏡外科 / 直腸癌 / 機械学習 / 画像認識 |
|---|
| Outline of Annual Research Achievements |
高難度化する鏡視下直腸癌手術の均てん化のためには、評価・解析に活用可能な手術手技のデジタル化や、それに基く手術支援システムの開発が必要である。本研究では、手術映像における手技をデジタル化した上でデータセットとし、手術器具や解剖構造、手術工程などを画像認識、解析するシステムの構築を行い、臨床への活用へ繋げる。
2018年度の実施内容としては、①鏡視下直腸癌手術映像の収集、②ラベリング項目の決定（術具の名称、手術工程の名称、解剖構造の名称など）、③ラベリング作業、について予定通り実施した。
①においては、国立がん研究センター東病院において鏡視下直腸癌手術が行われた症例の手術映像を442例収集した。②においては、術具：Point dissector, Linear dissector, Grasper, Maryland, Clipperの5種類、手術工程：TME(Total Mesorectal Excision), Medial mobilization of colon, Lateral mobilization of colon, Dissection of mesorectum、解剖構造：IMA(Inferior Mesenteric Artery)、尿管、前立腺をそれぞれラベリング項目として設定した。③においては、手術動画から抽出した静止画に対し、術具のPoint dissectorを926枚、手術工程を1,957,100枚、IMAを234枚、尿管を333枚、前立腺を295枚、それぞれラベリングを行いデータセットを作成し、教師データとした。
試験的に実施した機械学習の結果、Point dissectorでIoU：0.689、手術工程でAccuracy：0.835、IMAでIoU：0.532、尿管でIoU：0.331、前立腺でIoU：0.194の精度で予測モデルが構築された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究実績の概要に示したように、研究計画調書で提示しているマイルストーンにおいて、2018年度に実施する項目として、①鏡視下直腸癌手術映像の収集、②ラベリング項目の決定、③ラベリング作業、については予定通り実施することが出来ている。①においては、2年間で達成することを想定していた過去10年分の症例動画収集が、1年目でほぼ完了している。②においては、予定通り1年目で完了した。③においては、引き続き2020年までラベリング作業を継続していくが、進捗としてはスケジュール通りである。
一方で、2019年度に実施を開始する予定であった、④CNN（Convolutional neural network）による機械学習とバリデーションにおいては、試験的に2018年度中に機械学習を実施することが出来た。術具のPoint dissector、手術工程、解剖のIMA・尿管・前立腺において、パイロットデータを得た。クラス分類（Classification）による手術工程の画像認識においてはある程度の精度が達成されたものの、Semantic segmentationによる術具、IMA・尿管・前立腺の画像認識においては、精度改善の余地が認められた。特に前立腺については教師データ枚数と比較し精度が低く、ラベリング方法の再検討と教師データの追加が求められる状況である。次年度に直面する課題を先行して認識することが出来たと考えている。
|
| Strategy for Future Research Activity |
機械学習による画像認識のパイロッドデータの解釈としては、特に術具・解剖構造の認識において引き続き予測モデルの精度向上が望まれる状況である。アルゴリズムの改良とラベリングデータの量産が必要と考えられ、Point dissector以外の術具についてもラベリング作業を開始していく。このため、ラべリング作業の速度向上のために現在使用しているアノテーションソフトの改良も引き続き行い、効率化を達成させる。
また、最終成果物の一つであるAIによる手術技能評価システムの開発に向けても、技術評価項目や評価アルゴリズムの構築を検討していく必要がある。
|
| Causes of Carryover |
想定していた国際学会への参加が困難となった。2019年4月の国際学会へ参加・成果報告となったため、そちらで使用。
ラベリング用の人件費を計上していたが、2018年度に関しては作業手順作成などと同時に研究代表者本人がラベリングを行った。2019年度以降、ラベリング作業加速を図るため使用予定。
|
