赤外線マルチカメラによる胸腔鏡下手術支援システムの開発

2019 Fiscal Year Annual Research Report

• Project/Area Number: 19H04491
• Research Institution: University of Hyogo
• Principal Investigator: 森本 雅和 兵庫県立大学, 工学研究科, 准教授 (10305683)
• Co-Investigator(Kenkyū-buntansha): 眞庭 謙昌 神戸大学, 医学研究科, 教授 (50362778) ; 田中 雄悟 神戸大学, 医学部附属病院, 講師 (20403256) ; 松井 伸之 兵庫県立大学, 工学研究科, 特任教授 (10173783) ; 礒川 悌次郎 兵庫県立大学, 工学研究科, 准教授 (70336832)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 手術支援システム / 血管モデル推定 / マルチスペクトルカメラ / 赤外線画像処理 / AI画像解析 / AR・拡張現実

Outline of Annual Research Achievements

内視鏡トレーニングキットを購入し，カメラを複数台設置した状態でメス・鉗子等による軽作業時の作業効率の変化を調べる実験の装置設定を行った．複数のカメラやディスプレイの効果鉄器な設置方法について検証を進めたが，複数の被験者による作業効率改善実験には至っていない．
購入したマルチスペクトルカメラについて，撮影方法に習熟するとともに，人体の腕を撮影し，血管領域の検出が可能であることを確認した．この検出を高速に行い，遅延なく血管位置を強調して術者に提示するシステム開発に取り組んでいる．
１１月に神戸大学医学部附属地域医療活性化センターで開催された第１０回兵庫呼吸器外科胸腔鏡教育プログラムに参加した．医師による豚の肺摘出内視鏡手術トレーニングを見学し，胸腔鏡下手術について学ぶとともに，術中の手術チームメンバーの動作について観察した．観察の結果，手術時に重要となるのは肺門付近の特定の領域にある太い血管やリンパ管であることや，術中に収縮肺が胸腔内で大きく移動させられ，当初想定した小数台の定点カメラでは手術部位が隠れてしまい見えなくなることが多く発生することが判明した．
また，この手術時に，購入したマルチスペクトルカメラにより豚肺の赤外線マルチスペクトル撮影を行った．摘出した豚肺の撮影画像解析では血管の抽出ができなかった．生体肺についてはマルチスペクトルカメラを固定できなかったために撮影に失敗しており，次回の実験で再度撮影を行う予定である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

豚の肺摘出内視鏡手術トレーニングを見学することで，手術時に重要となるのは肺門付近の特定の領域であることや，収縮肺が胸腔内で大きく移動させられ，小数台の定点カメラでは重要な領域が隠れてしまい見えなくなることが判明したため，胸腔内でカメラの位置や向きを変化させる機構を新たに検討することとした．
当初購入を予定していたマルチスペクトルカメラが交付予算不足のため購入できず，より安価なモデルを購入した．購入したマルチスペクトルカメラでは，カメラを撮影者が定速で向きを変えながら撮影する必要があり撮影に時間がかかり，時に失敗するという欠点があるものの，当初の目的である有益な赤外線スペクトルバンドの確認には利用できている．

Strategy for Future Research Activity

本年度は動物実験を主催する．医師の協力の下で豚肺部分摘出の内視鏡手術を行う際に，微小なカメラや赤外線カメラを複数台胸腔内に設置し，一般的な胸腔鏡下手術手技の妨げにならないか，追加カメラによる別視点映像が手術に有益かの検証を行う．なお，当初は夏頃の実施を計画していたが，新型コロナの影響のため，秋以降に実験を延期する予定である．
また，内視鏡トレーニングキットを用いて，複数のカメラの映像を１台のARゴーグルに表示しながら軽作業を行う実験を実施する．単に視点が増えた場合や，AI画像解析によるナビゲーションを合わせて提示した場合等を想定し，内視鏡手術時に有効な情報提示方法について検証をすすめる．