Development of endoscopic surgery displaying tumor location and landmark navigated by artificial intelligence

2022 Fiscal Year Annual Research Report

• Project/Area Number: 22H03977
• Allocation Type: Single-year Grants
• Research Institution: Oita University
• Principal Investigator: 猪股 雅史 大分大学, 医学部, 教授 (60315330)
• Co-Investigator(Kenkyū-buntansha): 衛藤 剛 大分大学, 医学部, 准教授 (00404369) ; 徳安 達士 福岡工業大学, 情報工学部, 教授 (50435492) ; 白下 英史 大分大学, 医学部, 講師 (50596955) ; 西園 晃 大分大学, 医学部, 教授 (70218155) ; 山田 健太郎 宮崎大学, 農学部, 准教授 (70458280) ; 河野 洋平 大分大学, 医学部, 准教授 (90572008) ; 二宮 繁生 大分大学, 医学部, 助教 (10468019) ; 赤木 智徳 大分大学, 医学部, 助教 (80572007)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 人工知能 / レオウイルス / 癌 / 腹腔鏡手術

Outline of Annual Research Achievements

本研究では，癌手術における主要なランドマークを客観的な観点から術中に教示するための技術開発を行う．具体的には，癌に対する腹腔鏡手術を腫瘍学的・技術的に安全に遂行するためのCross AI navigation systemの実現に向け，(1)蛍光蛋白質を発現するレオウイルスを用いた癌進展範囲の術中診断，(2)人工知能を用いた手術操作における解剖学的ランドマークの術中教示の技術基盤をそれぞれ確立し，(3)それぞれの検証実験を行い、臨床応用に向けたリスクアセスメントを行う．
令和4年度研究実績概要
研究項目（1）BDFPまたはKiller Red発現組換えレオウイルスの作成と消化器癌細胞株での蛍光発現の検証
a)　種々の消化器癌細胞株でレオウイルス増殖性を確認し，蛍光蛋白質BDFPまたはKiller Redの発現を確認し，組み換えウイルス作成を完了した。さらに膵癌株を移植したハムスターの腫瘍に対して蛍光蛋白質発現レオウイルスを接種し，腫瘍縮小効果を得た。
研究項目（2）ランドマーク教示人工知能ソフトウェアの学習に用いる教師データの生成と、シーン認識ソフトウェアの開発　b)　直腸間膜へのアプローチを安全に行うための術中教示ランドマークとして，上直腸動脈，直腸固有筋膜，下腹神経前筋膜，後腹膜とし、人工知能に学習させる教師データを作成するため，申請者の所属機関で実施された腹腔鏡下直腸手術のうち，癒着が軽度で腹腔内脂肪が少ない手術ビデオを選定した。ランドマークの視認性が高いシーンを抽出し，アノテーションツールを利用して，大腸外科専門医がショートビデオに各ランドマークのアノテーションを行い，教師データを作成した。　c)　さらに，手術における人工知能の応用を拡げるため，手術工程について深層学習を行い，手術シーン認識を可能にした人工知能ソフトウェアを開発した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究項目（1）
蛍光蛋白質を発現するレオウイルスを用いた癌進展範囲の術中診断の確立に向けた研究計画について，予定通り消化器癌細胞株での蛍光蛋白質発現レオウイルスの感染と蛍光表示を確認でき、さらには次年度に予定していた動物モデルにおける移植腫瘍に対する組み換えウイルス感染と腫瘍縮小効果を確認するまで至り，計画以上に進展しているといえる。
研究項目（2）
人工知能を用いた手術操作における解剖学的ランドマークの術中教示の技術基盤の確立に向けた研究計画について，上記に示した直腸癌手術におけるランドマークの定義，教師データの作成と画像認識アルゴリズムへの学習を行い，プロトタイプの作成を行っているが，教示機能の向上のため，さらに教師データ量を増やしている。教師データの作成は次年度にも延長して継続されるが，教示システムの質を決定する最も重要な要素であり，次年度の評価過程までに推敲を繰り返す。また並行して人工知能の手術への応用を拡げるため，手術工程についての深層学習を行い胆嚢摘出術における手術シーン認識を可能にした人工知能ソフトウェアの開発を行った。この技術は本研究課題の大腸癌手術だけでなく，すべての手術に応用され，手術そのものだけでなく，手術室運営にも貢献しうる技術である。
上記の進捗状況であり、おおむね順調に進んでいると考える。

Strategy for Future Research Activity

令和5年度の研究計画
研究項目（1）ヒト由来大腸癌細胞株を移植したヌードマウスを用いた遺伝子組換えレオウイルスの実現性に関する評価
動物実験の実施に向けては，レオウイルスの構造を遺伝子レベルで調整し，レオウイルスの感染による大腸癌細胞の反応を抑える必要がある．ここでは，ヒト由来大腸癌細胞株をヌードマウスの直腸および骨盤腔に移植することで直腸癌リンパ節転移モデルを作成し，BDFPまたはKiller Red組換えレオウイルスを腫瘍部に接種，in vivoイメージングによるシグナル解析を行う．特に，光源にはLEDもしくはレーザー光を使用し，効果の高い光源の強度・照射時間・回数，ウイルス接種後の観察のタイミング，可視化深度について検討する．上記検討およびレーザー光を搭載した腹腔鏡の試作のためLEDやバンドパスフィルターを付け替えて改造使用できる光源の導入を予定している．また，安楽死させた担癌マウスを解剖，腫瘍部のex vivoイメージングと病理組織学的解析を行い，in vivoイメージングによる検出との一致性について確認・検証する．
研究項目（2）ランドマークおよび癌進展範囲術中教示のための人工知能ソフトウェアの構築と評価
作成した教師データを，深層学習をベースとする画像認識アルゴリズムに学習させる．申請者らは、腹腔鏡下手術の主要なランドマーク教示技術について２件の特許を申請済みであり，本申請課題においてもこれらの技術を応用する．ここでは，小さな矩形が位置と形を変えて，ランドマークの領域内を埋め尽くす形で術者に情報教示する．
人工知能の評価においては，一般的に機械学習で用いられる評価尺度を用いた客観的評価と，臨床外科医による主観的評価を併せて実施する．特に，主観的評価には外部評価委員会を設置し，当該領域で十分な実績ある外科医らの評価を得る．

Research Products

• [Journal Article] An intraoperative artificial intelligence system identifying anatomical landmarks for laparoscopic cholecystectomy: a prospective clinical feasibility trial (J-SUMMIT-C-01). (2023)
  • Author(s): Nakanuma H, Endo Y, Fujinaga A, Kawamura M, Kawasaki T, Masuda T, Hirashita T, Etoh T, Shinozuka K, Matsunobu Y, Kamiyama T, Ishikake M, Ebe K, Tokuyasu T, Inomata M.
  • Journal Title: Surgical Endoscopy Volume: 37 Pages: 1933-1942
  • DOI: 10.1007/s00464-022-09678-w
  • Peer Reviewed
• [Presentation] Development of real-time, intraoperative artificial intelligence to assess critical view of safety in laparoscopic cholecystectomy. (2023)
  • Author(s): Masahiro Kawamura, Yuichi Endo, Atsuro Fujinaga, Misako Kimura, Aika Ejima, Yusuke Matsunobu, Hiroki Orimoto, Shota Amano, Takahide Kawasaki, Yoko Kawano, Takashi Masuda, Teijiro Hirashita, Tatsushi Tokuyasu, Msafumi Inomata
  • Organizer: SAGES2023