2021 Fiscal Year Research-status Report
投影型拡張現実を用いた腹腔鏡手術支援システムの構築
| Project/Area Number |
21K21304
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
謝 淳 筑波大学, 計算科学研究センター, 研究員 (00913287)
|
|---|
| Project Period (FY) |
2021-08-30 – 2023-03-31
|
| Keywords | 外科手術支援 / 拡張現実 / シースルー / 三次元センシング / 自由視点 |
|---|
| Outline of Annual Research Achievements |
本研究は腹腔鏡映像の情報処理結果を、投影型拡張現実技術で提示することによって、患者腹部の皮膚が透明になるようなシースルーを実現するためのシステムを構築することで、腹腔鏡手術を支援することを目的とする。
今年度において、「術者位置及び患者の体表形状変化を考慮した映像生成手法」の課題について取り込み、必要な関連技術のサーベイを行い、システムを構築してきた。本システムは今後の手術支援技術やアプリケーションの開発、評価の基盤となる。具体的に、腹腔鏡手術のトレーニング環境を作成し、腹腔鏡システムを加え、擬似的に腹腔鏡映像を取得することが可能となった。術者の視点によって生じる映像の歪みを補正するために、モーショントラッキングシステムを導入し、術者の視点をリアルタイムで追跡可能となった。また、術野とプロジェクタとの位置関係、および投影面の形状を計測するために三次元カメラの導入を試みた。これらの情報は正確な投影結果を得るために不可欠であるが、いずれも十分な精度に達しておらず、現在プロジェクタとカメラを用いた新しい手法の実装に取り込んでいる。トレーニングボックス内点群の取得について、三次元カメラは十分な空間解像度が得られなかったため、さらなる調査と検証が必要である。本システムを基盤とし、術者視点データをCGと組み合わせ、仮想現実でシースルー効果を確認可能なアプリケーションを開発した。本アプリは、今後のシステムの試作や評価などの場面において有用である。
また、多視点カメラで撮影した術野映像を用いて手術の状況に応じて最適な視覚情報を提示するシステムを構築した。本システムで得られた知見は今後のシースルー映像の生成に有用である。さらに、多視点X射線画像を用いた患者の体内情報の三次元復元手法の改良に取り組み、今後のシースルーで使用する術前診断データの提示方式に繋がっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
提案システムの構築は概ね順調に進んでいる。但し、モーションキャプチャーカメラ等の機材は海外からの発送となり、コロナ禍の影響で物流が大幅遅れていた。また、投影面形状計測およびトレーニングボックス内の三次元計測については、既存の機材と手法は予想の効果を得るのは難しいと判明され、新たに解決方策を探索するのに進捗が遅れた。
|
| Strategy for Future Research Activity |
今後は「術者位置及び患者の体表形状変化を考慮した映像生成手法」の課題は計画通りに遂行する予定である。もう一つの課題「腹腔鏡画像に基づいた体内三次元データの生成とカメラトラッキング」については、実際の手術環境では出血、水蒸気などの要素の影響で理想的な内視鏡映像の取得はほぼ不可能であり、現場で実用化可能なアルゴリズムの開発に向けて課題をさらに細かく分割し、一つずつ解決していく予定である。まだ、現在三次元計測に使用可能な腹腔鏡データはわずかしか存在せず、ディープラーニングに基づいた手法の開発には不利であるため、遠隔支援や教育などの場面に導入可能な、静的な術前診断データを用いた新しいアプリケーションの提案と評価も今後の方向性として考えられる。
|
| Causes of Carryover |
コロナの影響で学会がリモート開催となることが多い。また、本助成金で購入予定であったモーションキャプチャーシステムは、当時見積もった金額を大幅上回ったため、別途で調達した。以上の理由から、次年度使用額が生じた。
次年度は、よりリアルな手術環境を構築するために、医療用人体モデルを購入する。また、高精度なセンシング結果と高質な投影結果を得るために、追加でカメラとプロジェクタを購入する。さらに、情報処理のための高性能計算機を購入する予定である。その他、実験データの記録と保存のための消耗品も購入する。
|
