| 研究領域 | 医用画像に基づく計算解剖学の多元化と高度知能化診断・治療への展開 |
|---|
| 研究課題/領域番号 |
17H05287
|
|---|
| 研究機関 | 信州大学 |
|---|
研究代表者 |
西川 敦 信州大学, 学術研究院繊維学系, 教授 (20283731)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2019-03-31
|
| キーワード | ステレオ内視鏡 / デプス画像 / 手術支援ロボット / 自律レベル / 内視鏡画像処理 / ビジュアルトラッキング / ビジュアルサーボ / カウンタートラクション |
|---|
| 研究実績の概要 |
本研究の目的は、ステレオ内視鏡により得られるRGB画像およびデプス画像、ならびに、光学式3次元計測情報を適切に処理・融合することにより、手術支援ロボットの自律レベル向上に貢献できる様々な術中センシング技術の開発を行うことである。平成29年度の実績は以下のとおりである。
（１）【手術器具の画像追跡】内視鏡画像中の手術器具の先端位置を実時間で視覚追跡する基本アルゴリズムを開発した。本手法は、RGB 内視鏡画像のみを用いた方法であり、胆嚢や脂肪等の組織が存在する様々な内視鏡映像にも対応でき、複数の手術器具の先端位置を区別して同時検出・追跡できるという特長を有する。
（２）【手術器具の画像合成】対象に近接して使用することが多い内視鏡映像においては、手術器具と内視鏡間の距離が近くなるにつれて、投影誤差が大きくなる。3次元計測装置を用いて手術器具先端の位置を高精度に内視鏡映像に合成する方法の確立を目的として、仮想的に手術器具との距離に応じたカメラモデルを複数導入することで投影誤差の軽減を試みた。
（３）【視野評価指標の提案】ステレオ内視鏡把持ロボットを執刀医の仮想的な両目、手術器具を仮想的な腕とみなした仮想ハンドアイシステムにおいて、手術器具先端の視空間座標と関節角度が線形な関係になるように内視鏡を操作しているという仮定から新たな視野評価指標の提案を行い、さらに視野評価システムの構築を行った。
（４）【器具-臓器間の距離推定】手術器具把持ロボット制御を目的として、手術器具先端から臓器表面までの距離（挿入方向距離）の推定手法の開発を行った。本手法の最大の特長は、ステレオカメラと 3次元計測装置によりそれぞれ実時間で同時取得できる 2種類の視差（デプス）情報を用いて、器具中心軸と臓器表面の交点を算出し、幾何学的不変量を用いて画像ベースで挿入方向距離の推定に成功した点である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
平成29年度交付申請書における当初の研究実施計画は以下のとおりであった。
平成29年度は、ステレオ内視鏡により出力されるRGBおよびデプス画像をベースにした次の４つの基盤要素技術を積み上げることにより、「内視鏡カメラ助手代行ロボットの自律制御技術」を確立する：（１）手術器具のマーカレス・ステレオビジュアルトラッキング技術、（２）ステレオ画像からの手術器具等の３次元位置推定技術、（３）内視鏡視野の良さの評価手法、（４）内視鏡のステレオビジュアルサーボイング技術。
研究実績の概要や学会発表リストにあるように、当初の研究実施計画どおり、これらの４つの基盤要素技術それぞれの積み上げに成功しているという意味で、研究は順調に進展している。
その一方で、平成29年7月に、重大な繰越事由（ステレオスコープ装置の不測の故障（レンズ破損））が生じたため、当装置の修理・調整が必要となり、本補助事業の完了時期を6ヶ月延長することが認められた。よって、事業完了時期という意味では、当初より遅れが生じている。ただし、研究そのものは予定通り進んでいること、平成30年度の補助事業を並行して進めることで、トータルの研究進捗には影響が出ないことが見込まれるという意味で、「おおむね順調に進展している」と自己評価した。
|
| 今後の研究の推進方策 |
平成29年度の研究成果に基づいて、引き続き、4つの基盤要素技術をさらに積み上げる。より具体的には、各基盤要素技術について、以下の推進方策を考えている。
（１）デプス画像を併用することにより、29年度に開発した手術器具追跡アルゴリズムの頑健化を実施する
（２）29年度に開発した手術器具の高精度画像合成手法を利用し、臓器牽引（カウンタートラクション）時における手術器具先端荷重推定システムの新規開発を行う
（３）29年度に引き続いて様々な内視鏡手術視野評価指標の設計を行い、内視鏡把持ロボットを用いた被験者実験により、その有用性の検討を行う
（４）29年度に開発した器具中心軸と臓器表面の交点の算出アルゴリズムをベースにして、手術器具把持ロボットのビジュアルサーボ手法を構築し、その実装と評価を行う
|
