肝切除術における温度測定サーマルカメラによる臓器測定法の研究

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K08879
• Research Institution: Nippon Medical School
• Principal Investigator: 大城 幸雄 日本医科大学, 医学部, 准教授 (10535008)
• Co-Investigator(Kenkyū-buntansha): 黒田 嘉宏 筑波大学, システム情報系, 教授 (30402837)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 肝切除 / 手術ナビゲーション / サーマルカメラ / AI / 機械学習

Outline of Annual Research Achievements

目的：われわれは、脈管などの不可視部位を提示する肝切除ナビゲーションの実現を最終目的として、これまでに3Dカメラセンサーを活用した肝切除ナビ開発を行ってきており、臓器変形対応技術を持っている。共同研究者の黒田ら（筑波大学システム情報系）が研究している温度測定サーマルカメラを用いてエネルギーデバイスによる切離線を熱画像シーケンスから推定する手法を用いた肝切除ナビゲーションの開発を目指している。
方法：一般に臓器の切離、切開においては、電気メスをはじめとする外科手術用エネルギーデバイスが用いられる。その切離の原理は、デバイス先端の温度を急上昇させて細胞中の水分を蒸発させることで細胞を破壊し切開する。切離された領域は高温になるため、高温な領域を温度測定サーマルカメラで撮影した熱画像から取得することで切離線を推定することが可能である。そこで、切開した臓器の熱画像シーケンスからエネルギーデバイスによる熱源を機械学習（AI）によって復元する手法を確立する。電気メスや超音波メスなどのエネルギーデバイスの先端を食肉に数秒間接触させ離した後にサーマルカメラで動画像を記録し、学習用データ、正解データ、訓練用データ、検証データ用フレームを用意しデータセットをAIに読み込み熱源を復元できるかを検証した。
結果：現在、AIが出力したデータを、画像類似度指標（MSE、PSNR、ユークリッド距離）や、温度分布の三次元プロットにより正確性を検証しており結果が期待される。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

現時点までおおむね予定通りの実験を施行できている。以下がその方法と結果である。
方法：切開した臓器の熱画像シーケンスからエネルギーデバイスによる熱源を機械学習（AI）によって復元する手法を確立する。電気メスや超音波メスなどのエネルギーデバイスの先端を食肉に数秒間接触させ離した後にサーマルカメラで動画像を記録し、学習用データ、正解データ、訓練用データ、検証データ用フレームを用意しデータセットをAIに読み込み熱源を復元できるかを検証した。
結果：現在、AIが出力したデータを、画像類似度指標（MSE、PSNR、ユークリッド距離）や、温度分布の三次元プロットにより正確性を検証中であり結果が期待される。

Strategy for Future Research Activity

2022年度の成果に基づき、下記の課題に取り組む。
課題. 外科手術用エネルギーデバイス による切離線を熱画像シーケンスから推定
機械学習により熱拡散後の熱画像シーケンスから外科手術用エネルギーデバイスによって復元された熱源を、連結させることで切開軌跡を推定することが今年度の課題である。材料の加工ハムとブタの肝臓に切離線を事前に設定、描画しサーマルカメラで記録することで切離軌跡のGround Truth（正解データ）を取得する。その後、事前に設定した切離線に沿ってエネルギーデバイスの先端を当てる様子をサーマルカメラで記録する。訓練用データに約20 シーケンス、検証用データに約10 シーケンス用意し、データセットをConvLSTM に読み込み、切離線を推定できるか検証する。

Causes of Carryover

ソフトウェアの改良が想定よりも安価で可能であったため次年度使用額が生じた。翌年度にはシステム開発に充てて計測、計算のスピードアップを図りたいと考えている。