Elucidation of the "eye" for safe endoscopic surgery and construction of a foundation for the technological application

2022 Fiscal Year Research-status Report

• Project/Area Number: 22K08720
• Research Institution: Keio University
• Principal Investigator: 三原 規奨 慶應義塾大学, 医学部(信濃町), 共同研究員 (80464957)
• Co-Investigator(Kenkyū-buntansha): 青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792) ; 田中 真之 慶應義塾大学, 医学部(信濃町), 助教 (30573414) ; 植村 宗則 鹿児島大学, 医歯学総合研究科, 客員研究員 (50636157) ; 北郷 実 慶應義塾大学, 医学部(信濃町), 准教授 (70296599) ; 斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605) ; 川平 洋 自治医科大学, 医学部, 教授 (90447285)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Keywords: 内視鏡外科 / スコピスト / 腹腔鏡下胆嚢摘出術 / AI / Visual odometry (VO)

Outline of Annual Research Achievements

内視鏡外科手術において、視認のための内視鏡カメラを操作するスコピストは、術者の目として大切な役割を果たす。本研究では、「手術の安全性を担保する最適なカメラワークとは何か」を解明するため、経験豊富なスコピストの持つ手（操作技術）と頭（操作予測）を解析し、暗黙知の可視化を試る。
本年度は、まず腹腔鏡下胆嚢摘出術の過去動画140件の中から、技術認定合格ビデオを3本含んだ6本のビデオを抽出し、サンプル教師動画とした。
Visual SLAMによる研究では、外科医が手術時に基準となる座標軸を暗黙のうちに想定し、それを基準に手術をしていくことに着目し、スコピストが基準の座標軸から大きく回転しないように内視鏡を動かすための視覚的なガイドを内視鏡画像に重畳表示することを目標とした。内視鏡動画像に対してVisualSLAMアルゴリズムを適用して得られる世界座標系を基準となる座標軸と想定し、その座標軸に沿った3次元グリッドを内視鏡画像に重畳表示することができた。
術者の視野推定の研究では、5件の腹腔鏡の胆嚢摘出術に際して、Tobii3グラスをかけて、視線解析のデータを取得した。モニターの隅4点にAruCo マーカーを配置し、動画の各フレームごとにコーナーの各座標を取得し射影変換を行った。アイトラッカーを用い、術中に注視点データと視野映像を取得、視野映像からモニターを抽出した映像の各フレームを事前学習されたVGGを用いて特徴抽出を行い、その特徴量をネットワークに入力することより注視に点をフレーム単位で推定した。その値とアイトラッカーからの注視点データのLoss をMSEで取り、ネットワークのパラメータを更新した。この手術映像と注視点座標を用いた注視点予測では、大きさが(256×256) の画像に対してRMSE（予測値と実際の値の距離の平均）という指標で54.346 という結果を得ることができた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

教師動画の収集と選択、教師動画の解析と機械学習、および新規の動画撮影も順調に進んでいる。

Strategy for Future Research Activity

Visual SLAMによるスコピスト支援技術に関する研究の問題点としては、手術の進行に伴って術野の3次元的構造が大きく変化することによって、基準となる座標軸が変化してしまうことがある。これに対しても最初に決定した基準座標軸を見失わないようにするためのアルゴリズムが必要となる。このための方針としては、VisualSLAMによって得られる術野の3次元点群から、特徴となる構造を抽出し、それを基準に座標時を固定するなどの手段が考えられ、次年度に検討する予定である。
術者の視野推定の研究では、実験結果の定性評価から予測された注視点座標と術具に関係があることがわかったため、精度を向上させるために、術具検出などのタスクを考慮する。学習に用いたデータセットの偏りという点でも課題が見つかったため、手術の数を増やすことやデータの処理方法をなど、データセットの変更を行う。

Causes of Carryover

未使用額の発生は効率的な物品調達を行った結果である。次年度に、データをさらに追加する予定のため、データ整理のための補助員の人件費に使用する予定である。