Development of a navigation system for laparotomy surgery using AI control of a multi-view camera
| Project/Area Number |
22K08791
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 55020:Digestive surgery-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
橋本 真治 筑波大学, 医学医療系, 准教授 (60624666)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小田 竜也 筑波大学, 医学医療系, 教授 (20282353)
北原 格 筑波大学, 計算科学研究センター, 教授 (70323277)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2023: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2022: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
|---|
| Keywords | 開腹手術ナビゲーション / 多視点手術映像カメラ |
|---|
| Outline of Research at the Start |
ロボット・腹腔鏡下手術において、術野映像の進歩から、手術技術向上や教育に大きな革新をもたらした。しかしながら、直視下型手術における映像支援技術は開発が進んでいない。従来、直視下型手術の映像装置は術者の頭上に設置される為、頭・手・腕が映像装置と術野を遮り、肝心の術野映像が捉えにくい事が主因である。そこで、我々は、術野上30cm程度の中空リングに複数の照明と撮影装置を組み込んだ多視点カメラシステムを独自に発案した（特願番号19-124）。本研究は、このシステムを具現化する為に、1) 術野中心の自動認識、2)複数カメラの中で術野中心の画像自動選別、3) 重要構造物アノテーション機能 をAIシステムにより開発する。
|
| Outline of Annual Research Achievements |
開腹術野を多視点から撮影し、術野の妨げとなる術者や助手の頭・手などを排除した映像を構築し、今後の外科教育の進歩に寄与する研究である。 まず、はじめに、筑波大学消化器外科と筑波大学計算科学研究センターと合同で16台のカメラを円形に設置し、多視点から手術を撮影できる機材を作成した。手 術操作の妨げになる位置へ設計に時間を要したが、その高さの調節機能や設置リグの大きさなど多段階の修正を経て、術野へ導入できるシステムに改善した。作成の段階ではあったが、開腹手術における多視点画像による術野撮影の意義を含めたコンセプトについて日本外科学会、医用画像研究会で発表した。
また、同システムを手術室で使用可能にするために衛生面に配慮すること、手術患者に同意を得る事、プライバシー保護の観点から、筑波大学倫理委員会 (2022年8月17日)に提出し、認定を得ることができた(R04-087)。
上記段階を経て、実際の手術動画を計4回撮影し、撮影画像について検討した。カメラ光量の問題点、カメラシステムのマイナーなトラブルが課題に上がったため、それらを改善した後に計3回の撮影を追加で行った。光量の問題は解決され、一連の術者の視線や操作を遮ることなく一連の手術を行うことが可能であることが、すべての症例で実証された。この段階での研究内容を論文で報告した。
カメラ撮影の遮蔽物の回避だけでなく、手術術者・助手の動きや手術器械操作の妨げにならない更なる配慮が必要であり、第2号機の作成を行った。今後はこの2号機での撮影実験を行う予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
すでに1号機が完成し、2022年11月末から2023年4月までに筑波大学消化器外科の手術で患者の同意が得られた合計4件の症例を撮影した。本撮影手法の効果を筑 波大学計算科学センターの協力のもと検証した。画像から得られた注視点の座標値が画面中央になるような回転行列を計算することで、16台全ての動画で注視点 の座標を一致させることができ、どのカメラでも注視点を中心に置いた画像を生成することができた。一方で臨床実験により改善点(無影灯による白飛び、術 者・助手の手技の妨げとなるような構造部位)も明らかとなった。無影灯による白飛びに関しては露出補正のソフトを作成し、白飛びを抑えた映像をすでに3症例で記録した。これまでの症例から多視点カメラシステムの構築とバレットタイム映像(連続的な切り替え)についても論文で報告した。継続して手術映像の記録を行うためにユーザビリティにも踏み込んだ2号機の作成を完了しており、今後2号機での撮影を行っていく予定である。
|
| Strategy for Future Research Activity |
術者・助手の手技を妨げ得る構造に関してはカメラのリグの形状を改変したものの作成を完了している。本機器での映像が1号機と比して情報量が不足していないこと、またユーザビリティにも配慮した設計であることを確認することが次のステップである。上記が達成できた後には画像を貯蓄し、そこから手術ナビゲーションにつなげる解析を進めていくことになる。
|
Report
(2 results)
Research Products
(4 results)
-
-
-
-
[Presentation] 直視下手術の術野中心を捉え続ける手術撮影装置の開発2022
Author(s)
小田竜也 , 明石義正 , 下村治 , 古屋欽司 , 橋本真治 , 榎本剛史 , 高橋一広 , 小川光一 , 大原佑介 , 大和田洋平 , 宮﨑貴寛 , 土井愛美 , 馬上頌子 , 久倉勝治
Organizer
第122 回日本外科学会定期学術集会
Related Report
