肝切除術における温度測定サーマルカメラによる臓器測定法の研究

Research Project

Project/Area Number	22K08879
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 55020:Digestive surgery-related
Research Institution	Nippon Medical School
Principal Investigator	大城幸雄日本医科大学, 医学部, 准教授 (10535008)
Co-Investigator(Kenkyū-buntansha)	黒田嘉宏筑波大学, システム情報系, 教授 (30402837)
Project Period (FY)	2022-04-01 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000) Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000) Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000) Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords	肝切除 / 手術ナビゲーション / AI / サーマルカメラ / 機械学習
Outline of Research at the Start	実際の手術において形状が刻々と変化する臓器の位置姿勢を推定し、その結果に基づいて、手術手順や脈管などの不可視部位の3D-CGモデルを複合現実感（MR）提示する手術ナビゲーションシステムの実現を最終目的として、本研究では、温度測定サーマルカメラを用いて様々な切開デバイスによる切開、切離線を熱画像シーケンスから推定する手法を開発する。さらに、機械学習（AI）により熱画像シーケンスを推定できるか否かを検討する。これらの新しい術中計測技術の開発を行い、治療支援の高度化に貢献し、将来的な実用化を目指す。また、手術現場での臨床応用だけでなく、医学教育用システムとしての活用も検討する。
Outline of Annual Research Achievements	目的：われわれは、脈管などの不可視部位を提示する肝切除ナビゲーションの実現を最終目標として、これまでに3Dカメラセンターを活用した肝切除ナビゲーション開発を行ってきており、臓器変形対応技術を持っている。強豪研究者の黒田ら（筑波大学システム情報系）が研究している温度測定サーマルカメラを用いて、エネルギーデバイスによる切離線を熱画像シーケンスから推定する手法を用いた肝切除ナビゲーションの開発を目指している。方法：一般的には臓器の切離、切開においては、電気メスをはじめとする外科手術用エネルギーデバイスを用いており、肝切除の際には、CUSAとよばれる超音波手術器具を使用する。その切離の原因は、デバイス先端の温度を急上昇させて、細胞中の水分を蒸発させることで、細胞を破壊し、切開する。切離された領域は高温になるため、高温の領域を温度測定サーマルカメラで撮影した熱画像から取得することで、切離線を推定することが可能である。そこで、切開した臓器の熱画像シーケンスからエネルギーデバイスによる熱源を機械学習（ＡＩ）によって復元する手法を確立し、電気メスや超音波メスなどのエネルギーデバイスの先端を食肉に数秒間接触させ、話した後のサーマルカメラで動画像を記録し、学習用データ、正解データ、訓練用データ、検証用データフレームを用意し、データセットをＡＩに読み込み熱源を復元できることを検証した。結果：ＡＩが出力したデータを画像類似指標や温度分岐の三次元プロットによりある程度、制度の高い再現性を得ること可能となった。同様の実験を、機械学習手法を変えて、また実臨床に即したＣＵＳＡなどの医療器具を用いて検討を行う。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 前述の通り、2023年度に行ったこととして、同様の検証について機械学習手法のお変えて行った。初回の実験は、Convolutional LSTMと呼ばれる時系列を扱う機械学習であり、電気メスのデバイスを排除した画像から復元して熱源部位を特定し、再現する方法であったが、2回目の実験ではＣＮＮ：畳み込みニューラルネットワークと呼ばれる手法を行った。一般的には画像認識の領域で使用されることが多いが、すべてのシークエンス画像を接触画像と非接触画像の2種類に分類し、AIに学習させた。これらのうち、接触画像の中で、温度最高点を時系列的に連結された点が切開の軌跡となる。AIの推定した切開線とGround truthを比較すると、accuracyは97.2%で、平均0.27±0.07程度の誤差しか生じなかった。この制度は、Convolutional LSTMより高精度であり、今後のナビゲーションとして応用できる価値があると判断している。続いて、行った研究は、同様の解析方法を用いて、実際に豚の肝臓を実際の手術で使用するCUSA Excelと呼ばれる手術デバイスを用いて2023年12月に実験を行った。対象物から30cmの高さでサーマルカメラにて記録、10フレーム/秒とし、合計で52シークエンス、25317枚撮影し、これらを接触・非接触画像に分類したところ、accuracyは83.1%であった。
Strategy for Future Research Activity	上記の研究結果解析および考察が今年度のテーマと思われる。正確さが83.1%という結果は以前の実験より正確性が低下しているが、それはおそらくCUSAという道具の特性上、振幅を繰り返すことで使用される道具であり、より現実に即していると思われる。また、CUSA自体も5mm程度の厚さがあり、それによるある程度の振れ幅が生じているものと思われる。今後必要に応じて再実験などを検討する。データがまとまれば、英文論文執筆投稿に取り掛かる。可能であれば、サーマルカメラも立体視できるように複眼レンズへ改良し、立体状況で実臨床の肝切除の様子を撮影し、ナビゲーションにつながることを証明する。