| 研究課題/領域番号 |
22K12837
|
|---|
| 研究機関 | 千葉大学 |
|---|
研究代表者 |
中口 俊哉 千葉大学, フロンティア医工学センター, 教授 (20361412)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | カメラ付きトロッカー / 慣性センサ / 術具位置推定 |
|---|
| 研究実績の概要 |
トロッカー筐体に小型カメラと距離センサと9自由度慣性センサ（3軸加速度＋3軸角速度＋3軸ジャイロ）を組み込んだ，マルチセンサトロッカーの試作機を開発した．従来より開発済みのカメラ付きトロッカーの筐体をベースに，3Dプリンタを用いて距離センサと慣性センサ，周辺回路を組み込み，各センサ情報を処理するソフトウェアを構築した．センサは型式と使用方法により精度にばらつきがあり，複数のセンサとそのライブラリの組み合わせを比較検討し，最も高い精度が得られる試作機を完成させた．またカメラ付きトロッカーを複数使用することを想定し，複数のドライバ回路がプロセッサと接続できるよう回路設計を行った．加えて電源の安定化についても検討した．
この試作機を用いてカメラ映像から得た術具挿入長と，慣性センサから得た術具の角度変化から，術具先端座標を実時間で算出するアルゴリズムを構築した．まず，カメラ映像から術具先端位置を自動検出して術具挿入長を画像計測し，慣性センサの情報からトロッカーの姿勢変化を算出して術具の角度変化を得る．これら術具の挿入長と角度変化の情報から術具先端座標を算出する流れを実装した．慣性センサによる計測を安定化させるため，後処理として移動平均フィルタ，カルマンフィルタなど複数のフィルタを比較評価した．その結果，カルマンフィルタが有効であることが得られた．光学式位置センサで計測した鉗子先端位置を正解値とし，鉗子先端位置推定アルゴリズムの精度評価を行った．その結果，慣性センサを用いない従来手法に比べて本研究で提案する手法の精度が大幅に改善する結果が得られた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
2022年度に計画していた研究課題 A)マルチセンサトロッカーの原理試作，B）術具動き計測のアルゴリズム構築 C)術具動き計測の精度評価 を全て完了することができた．加えて追加課題 D)術者への効果的な警告手法の検討 も行った．追加課題D)について詳しく述べる．本研究の最終目標は内視鏡手術における内視鏡の死角での予期しない術具操作，誤接触などを防止することにある．つまり危険操作を未然に防ぐため，術者へ警告を発する必要がある．従来は内視鏡映像の画面内に警告表示する方法を検討していたが，内視鏡映像に干渉する（操作を加える）ことは，手術の安全性上好ましいとは言えない．そこで，本研究では音声によるフィードバック，および振動によるフィードバックを検討した．まず音声によるフィードバックとして，様々な音色を用意し，危険操作のリスクが高まるにつれ，音量の増加，トーンの変化，テンポの変化などの形式で術者へ警告を発するシステムを試作した．大腸外科専門医（指導医）に評価を求めたところ，有効である可能性もあるが，手術室にはバイタルモニタやエネルギーデバイスなどすでに多種類の音声が使用されており，それらとの混信の懸念があるとのコメントを受けた．そこで，振動によるフィードバックを検討するため，カメラ付きトロッカーに振動モーターを組み込んだ試作機を開発した．実験前の予想としては繊細な操作を要する術具を振動させることは問題があると思われたが，振動の強度を調整することにより，術者の手には振動が伝わるが，術具操作には影響しない程度の振動を発生させることに成功した．この振動による警告フィードバックは，従来の内視鏡外科では全く使用されていない情報伝達手段であり，大腸外科専門医（指導医）から高い評価を得た．以上の通り，追加課題の実施により本研究にとって大変有用な成果を得ることができた．
|
| 今後の研究の推進方策 |
2023年度はまず腹腔鏡映像との連携を実現するため，マルチセンサトロッカーに挿入した術具が腹腔鏡視野の内外いずれに存在するかを自動判定するアルゴリズムを検討する．2022年度の研究で得られた術具先端座標A=(X,Y,Z)と，腹腔鏡映像上の術具先端座標B=(x,y)の間には，腹腔鏡が固定されている状態において透視投影変換B=TAが可能となる．術具先端座標AとBの時系列データから，透視投影変換行列Tを算出し，変換行列Tの妥当性を検証することで，マルチセンサトロッカーに挿入した術具と腹腔鏡視野の術具との一致検出が可能となるという仮説に基づいている．研究の流れとしては，(1)深層学習を用いた腹腔鏡映像からの術具先端の自動検出，(2)オプティカルフローを用いた腹腔鏡の静止状態検出，(3) 術具先端座標の時系列データからの透視投影変換行列の算出，(4) 算出した透視投影変換行列の妥当性検証と術具の一致判定，以上のアルゴリズムを順に検討する．なお，術具先端が組織等に遮蔽された状況でも術具先端位置を推定するため，術具シャフト部の検出と解析を行う．また，術具先端形状の類似度による術具一致検出の方法も並行して検討する．
次にマルチセンサトロッカーの周囲環境として，SLAM(Simultaneous Localization and Mapping)技術を応用してカメラに対面する組織の表面形状を算出する．(1) 前処理1として光沢を取り除く．(2)前処理2として組織表面のテクスチャ特徴を強調するため，研究代表者が提案した分光推定法に基づく画像強調手法（Dynamic Band Imaging法）を適用する．(3) 前処理済み画像とトロッカーの慣性センサ情報をSLAMに入力し，カメラ姿勢と組織形状を算出する．また組織の非剛体性に対処するため実時間で計測・更新する高速計算手法を検討する．
|
