肝切除術における温度測定サーマルカメラによる臓器測定法の研究

• Project/Area Number: 22K08879
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 55020:Digestive surgery-related
• Research Institution: Nippon Medical School
• Principal Investigator: 大城 幸雄 日本医科大学, 医学部, 准教授 (10535008)
• Co-Investigator(Kenkyū-buntansha): 黒田 嘉宏 筑波大学, システム情報系, 教授 (30402837)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: 肝切除 / 手術ナビゲーション / サーマルカメラ / AI / 機械学習

Outline of Research at the Start

実際の手術において形状が刻々と変化する臓器の位置姿勢を推定し、その結果に基づいて、手術手順や脈管などの不可視部位の3D-CGモデルを複合現実感（MR）提示する手術ナビゲーションシステムの実現を最終目的として、本研究では、温度測定サーマルカメラを用いて様々な切開デバイスによる切開、切離線を熱画像シーケンスから推定する手法を開発する。さらに、機械学習（AI）により熱画像シーケンスを推定できるか否かを検討する。これらの新しい術中計測技術の開発を行い、治療支援の高度化に貢献し、将来的な実用化を目指す。また、手術現場での臨床応用だけでなく、医学教育用システムとしての活用も検討する。

Outline of Annual Research Achievements

目的：われわれは、脈管などの不可視部位を提示する肝切除ナビゲーションの実現を最終目的として、これまでに3Dカメラセンサーを活用した肝切除ナビ開発を行ってきており、臓器変形対応技術を持っている。共同研究者の黒田ら（筑波大学システム情報系）が研究している温度測定サーマルカメラを用いてエネルギーデバイスによる切離線を熱画像シーケンスから推定する手法を用いた肝切除ナビゲーションの開発を目指している。
方法：一般に臓器の切離、切開においては、電気メスをはじめとする外科手術用エネルギーデバイスが用いられる。その切離の原理は、デバイス先端の温度を急上昇させて細胞中の水分を蒸発させることで細胞を破壊し切開する。切離された領域は高温になるため、高温な領域を温度測定サーマルカメラで撮影した熱画像から取得することで切離線を推定することが可能である。そこで、切開した臓器の熱画像シーケンスからエネルギーデバイスによる熱源を機械学習（AI）によって復元する手法を確立する。電気メスや超音波メスなどのエネルギーデバイスの先端を食肉に数秒間接触させ離した後にサーマルカメラで動画像を記録し、学習用データ、正解データ、訓練用データ、検証データ用フレームを用意しデータセットをAIに読み込み熱源を復元できるかを検証した。
結果：現在、AIが出力したデータを、画像類似度指標（MSE、PSNR、ユークリッド距離）や、温度分布の三次元プロットにより正確性を検証しており結果が期待される。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

現時点までおおむね予定通りの実験を施行できている。以下がその方法と結果である。
方法：切開した臓器の熱画像シーケンスからエネルギーデバイスによる熱源を機械学習（AI）によって復元する手法を確立する。電気メスや超音波メスなどのエネルギーデバイスの先端を食肉に数秒間接触させ離した後にサーマルカメラで動画像を記録し、学習用データ、正解データ、訓練用データ、検証データ用フレームを用意しデータセットをAIに読み込み熱源を復元できるかを検証した。
結果：現在、AIが出力したデータを、画像類似度指標（MSE、PSNR、ユークリッド距離）や、温度分布の三次元プロットにより正確性を検証中であり結果が期待される。

Strategy for Future Research Activity

2022年度の成果に基づき、下記の課題に取り組む。
課題. 外科手術用エネルギーデバイス による切離線を熱画像シーケンスから推定
機械学習により熱拡散後の熱画像シーケンスから外科手術用エネルギーデバイスによって復元された熱源を、連結させることで切開軌跡を推定することが今年度の課題である。材料の加工ハムとブタの肝臓に切離線を事前に設定、描画しサーマルカメラで記録することで切離軌跡のGround Truth（正解データ）を取得する。その後、事前に設定した切離線に沿ってエネルギーデバイスの先端を当てる様子をサーマルカメラで記録する。訓練用データに約20 シーケンス、検証用データに約10 シーケンス用意し、データセットをConvLSTM に読み込み、切離線を推定できるか検証する。