2021 Fiscal Year Research-status Report
xR System for Minimal Removal and Maximum Preservation in Robot-Assisted Partial Nephrectomy
| Project/Area Number |
21K03967
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
小枝 正直 岡山県立大学, 情報工学部, 准教授 (10411232)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
登尾 啓史 大阪電気通信大学, 総合情報学部, 教授 (10198616)
大西 克彦 大阪電気通信大学, 総合情報学部, 教授 (20359855)
小川 修 京都大学, 医学研究科, 名誉教授 (90260611)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 手術支援システム / xR / ビジュアルオドメトリ / 手術シミュレータ / 熱変性 |
|---|
| Outline of Annual Research Achievements |
2016年4月から，ロボット支援腹腔鏡下腎部分切除術 (Robot Assisted Laparoscopic Partial Nephrectomy: RALPN) が保険適用となり，RALPNが急増した．RALPNに主に使用される手術支援ロボットda Vinciでは，ステレオ内視鏡と6自由度鉗子が利用可能ではあるが，狭い視野での細かい作業となり，個人差はあるが一般的に，対象臓器までの到達，腎動脈の特定，腫瘍の発見，切除ラインの決定等の準備作業に100分程度，阻血・腫瘍切除・縫合・阻血解除に25 分程度の時間が掛かる．また良好な術後回復には，腫瘍を最少で除去し，正常組織を最大限に残存することが最良ではあるが，腫瘍の残存は再発を誘発するため，正常組織も含めて広めに切除するのが一般的である．しかし，この切除領域の決定は医師の経と験勘に依存している場合が多い．
一方，血管の塊である腎臓を通常のメスやハサミで切開すれば大量出血してしまうため，通常は電気メスを用いて止血（焼結）しつつ切開される．しかし，その特性上，臓器内部にも電流が流れて，正常組織に不必要な加熱を与えてしまうという欠点があるが，これまでに電気メスによる臓器深部への熱影響や組織損傷の範囲，熱伝導モデルの研究は皆無で未知である．
そこで，ビジュアルオドメトリ (VO) 技術と拡張現実感技術を応用した，電気メスの熱影響を考慮した切除領域提示機能を有するxR 手術支援システムを開発する．また，GPUと物理シミュレーションライブラリを積極的に活用した，高いリアリティを有する手術シミュレータを開発し，xR手術支援システムの精度検証を行う．
R3年度は主に，VR空間での手術支援システムの構築と，熱伝導シミュレーションによる熱伝導率推定，VOの精度向上に関する研究を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初計画では，R3年度の目標として，１．xRシステムの開発，機械学習による特徴点分類，熱伝導シミュレーション，２．GPGPUによる生体と手術器具の高速・高精度分離，３．高いリアリティを有する手術シミュレータの開発，４．システムの試験運用，問題点の洗い出し，電気メスによる生体組織の熱損傷測定，を挙げていた．
１については，概ね順調に研究が進んでおり，Oculus Quest2を用いたVRによる三次元ユーザインターフェースを有する手術支援システムのプロトタイプは完成している．本システムではda Vinciのステレオ内視鏡から得られたステレオ映像から生成した腹腔内の三次元点群と，術前に撮影された患者のDICOMから生成した臓器の三次元モデルをVR空間で直感的に手動位置姿勢合わせするものである．自動位置姿勢合わせについては，現在，開発を進めている．また熱伝導シミュレーションについては三次元非定常熱伝導方程式を離散化し，熱伝導率の温度変化も考慮したシミュレータを構築した．２についても，概ね順調に研究が進んでおり，GPGPUを用いて深層学習したモデルにより，生体と手術器具をある程度分離することに成功している．現在，SLAMの精度検証を行っている．３については，卒業研究として取り扱ったものの，使用した機材や開発環境，ライブラリが安定せず，開発に想定以上の時間を要してしまい，対外的に発表できる程度の成果が得られていない状態である．４については，１で開発したシステムを実際の手術において仮運用し，医師の感想・意見を調査した．操作感は以前のシステムと比較して大幅に向上しているとの意見が得られている，また生体組織の熱伝導の様子を実験用ブタの腎臓を用いてサーモグラフィーカメラと針形温度計で同時計測する実験を実施した．現在，データを解析している最中である．
|
| Strategy for Future Research Activity |
当初計画では，R4年度の目標として，１．学習済みモデルを用いた高精度VOの実現，２．GPGPU並列演算による高速VOの実現，３．切除領域の適切な提示 UIの検討，実装，４．熱伝導モデルの導出，モデルに基づく切除領域決定方法を検討，を挙げていた．
１については，不要特徴点排除によるSLAMの精度検証のため，単軸ロボットでステレオカメラを一定の距離だけ動かし，SLAMによる推定値と比較する実験を行う予定である．２については，R3年度にある程度完成しているが，学習モデルのオンライン更新の可能性や，手術器具部分のマスク生成（ラベル付け）自動化の実現可能性について調査し，可能であれば実装する予定である．３については，R3年度に開発したプロトタイプの手術支援システムに医師と相談の上，適切な提示方法や操作性の高いUIなどの機能を追加する予定である．
４については，まずR3年度に開発した熱伝導シミュレータの精度および速度の向上を実施し，最急降下法などによる繰り返し演算により熱伝導モデルを求める．許容できる誤差範囲を医師と相談し，得られたモデルから熱変性の範囲を同定し，切除領域を提示する予定である．
|
| Causes of Carryover |
使用予定であったGPGPUが半導体不足や円安等の影響により暴騰したため，R3年度での購入は断念した．現在のところ，以前ほど高価な状況ではなくなりつつあるので適当なタイミングで購入する予定である．
|
